标签：端侧

2026-02-14andy阅读(66)评论(0)

华为昇腾（Ascend）系列芯片搭载了基于达芬奇（DaVinci）架构的NPU，旨在提供极致的AI推理性能。然而，将PyTorch或TensorFlow训练的模型部署到昇腾NPU上，需要经过严格的图优化和格式转换。本文将聚焦于使用核心工具A...

2026-02-10andy阅读(195)评论(0)

随着大模型的体积不断增长，如何在资源受限的端侧设备上高效运行这些模型成为了关键挑战。Apple M系列芯片，特别是最新的M3系列，通过其独特的统一内存架构（Unified Memory Architecture, UMA），为端侧大模型推理...

2026-02-06andy阅读(86)评论(0)

在将大型语言模型（LLM）部署到资源受限的端侧设备（如手机、边缘计算网关）时，模型量化是提高推理速度和降低内存占用的关键技术。4-bit 量化（如 GPTQ 和 AWQ）因其极高的压缩比而受到广泛关注。然而，这两种流行算法在底层实现和硬件亲...

2026-02-04andy阅读(124)评论(0)

在车载视觉系统中，对推理速度和功耗的要求极为严苛。NVIDIA TensorRT (TRT) 是优化和部署深度学习模型到NVIDIA GPU（如Jetson或Drive系列）的首选工具。然而，在将PyTorch或TensorFlow训练好的...

2026-01-30andy阅读(106)评论(0)

车载座舱中的AI应用，如驾驶员状态监控（DMS）、手势识别和语音处理，对实时性要求很高，但同时面临着严峻的散热挑战。在炎热环境或持续高负载下，端侧AI芯片（NPU/GPU）产生的热量可能导致系统性能下降甚至硬件损坏。为了保证AI系统的长期稳...