标签：芯片

2026-03-24andy阅读(50)评论(0)

如何利用 MNN 快速实现车载 AI 功能原型：从 NDK 开发到 GPU 加速适配 在车载 AI 开发中，座舱视觉（如 DMS 疲劳驾驶检测、OMS 乘员监控）和辅助驾驶功能对实时性要求极高。车载芯片（如高通 8155、芯驰 X9 系列）...

2026-03-22andy阅读(40)评论(0)

如何利用单卡 4-bit 量化技术在车载芯片上跑通 7B 规模的座舱智能管家模型 在智能座舱场景中，7B（70亿参数）规模的大模型已成为实现自然语音交互、行程规划和情感化管家的主流选择。然而，传统的 FP16 精度模型需要占用约 15GB ...

2026-03-18andy阅读(66)评论(0)

如何利用 Apple AMX 指令集实现 4-bit 量化 LLM 的端侧加速 随着端侧大语言模型（LLM）的普及，如何在 iPhone 或 Mac 上实现毫秒级的响应速度成为了开发者面临的巨大挑战。Apple 的 A 系列及 M 系列芯片...

2026-03-09andy阅读(55)评论(0)

如何理解 Android NNAPI 的算子分发逻辑：从底层架构到实战调用 Android NNAPI (Neural Networks API) 是 Android 系统中专门为机器学习推理设计的 C API。它不直接运行模型，而是作为“...

2026-02-28andy阅读(111)评论(0)

如何通过系统底层指令精准监控国产AI芯片的算力能效比 在智算中心和国产化替代的趋势下，针对国产AI芯片（如华为昇腾、寒武纪、元枢等）的精细化监控变得至关重要。本文将以昇腾（Ascend）系列芯片为例，重点讲解如何通过底层指令获取实时功耗与算...

2026-02-27andy阅读(94)评论(0)

如何利用国产分布式框架实现跨异构芯片的混合调度 在国产化替代的大背景下，很多企业的数据中心不再是单一的架构，而是演变为一个包含华为昇腾（Ascend）、寒武纪（Cambricon）等多种国产AI芯片的异构算力池。如何打破厂商壁垒，在同一个集...

2026-02-26andy阅读(116)评论(0)

1. 背景：为什么相同的量化模型在不同芯片上精度不同？ 在国产化适配过程中，开发者常遇到一个困惑：在 PyTorch 下验证良好的 INT8 量化模型，部署到昇腾（Ascend）、寒武纪（Cambricon）或昆仑芯（KunlunCore）...

2026-02-26andy阅读(118)评论(0)

如何解决国产 AI 芯片下的集合通信瓶颈：深度对比 HCCL 与 NCCL 在 Ring AllReduce 上的差异 在分布式深度学习中，集合通信（Collective Communication）是决定训练效率的关键。在 NVIDIA ...

2026-02-22andy阅读(83)评论(0)

怎么解决深度学习模型在不同手机芯片上的推理结果不一致问题 在将AI模型部署到移动端（如安卓或iOS）时，开发者经常发现同样的模型在不同手机上的输出结果存在微小差异。这种现象在跨芯片平台（如从高通骁龙迁移到联发科天玑）或跨推理后端（如从CPU...

2026-02-13andy阅读(165)评论(0)

在移动端 AI 推理领域，MNN（阿里巴巴）和 NCNN（腾讯）是两个最受欢迎的深度学习推理框架。它们的性能差异往往取决于底层的硬件加速能力和驱动适配情况，尤其是在面对高通（Qualcomm Adreno）和联发科（MediaTek Mal...