标签：量化

2026-02-02andy阅读(558)评论(0)

在汽车电子和智能座舱领域，集成大型语言模型（LLM）以提供自然语言交互的智能管家服务是趋势。然而，车载芯片（如高通SA8155或英伟达Orin等）虽然算力强大，但在内存（RAM/VRAM）方面相对桌面级或服务器级GPU资源有限。一个7B参数...

2026-02-02andy阅读(323)评论(0)

在复杂的AI推理加速和模型部署场景中，我们经常需要对自定义的神经网络架构进行修改、融合或适配特定的硬件加速器。PyTorch 2.0生态系统中的核心工具 torch.fx 为我们提供了强大的基础能力——符号追踪（Symbolic Traci...

2026-01-29andy阅读(582)评论(0)

向量搜索技术依赖高效的近似最近邻（ANN）算法来处理大规模数据集。其中，乘积量化（Product Quantization, PQ）因其卓越的压缩比和搜索速度而广受欢迎。然而，PQ是通过将高维向量拆分为多个子向量并独立量化来工作的，这一过程...

2025-12-18andy阅读(987)评论(0)

模型量化（Quantization）是将浮点精度（FP32）的模型权重和激活值转换为较低精度（通常是INT8）的过程，以显著减少模型大小、降低内存带宽需求并加速推理。然而，这种精度降低不可避免地引入了量化误差，这不仅可能导致模型的基线精度略...