标签：芯片

2026-07-12andy阅读(507)评论(0)

在移动端 AI 推理领域，MNN（阿里巴巴）和 NCNN（腾讯）是两个最受欢迎的深度学习推理框架。它们的性能差异往往取决于底层的硬件加速能力和驱动适配情况，尤其是在面对高通（Qualcomm Adreno）和联发科（MediaTek Mal...

2026-07-12andy阅读(354)评论(0)

如何利用 Apple AMX 指令集实现 4-bit 量化 LLM 的端侧加速 随着端侧大语言模型（LLM）的普及，如何在 iPhone 或 Mac 上实现毫秒级的响应速度成为了开发者面临的巨大挑战。Apple 的 A 系列及 M 系列芯片...

2026-07-12andy阅读(803)评论(0)

随着大模型的体积不断增长，如何在资源受限的端侧设备上高效运行这些模型成为了关键挑战。Apple M系列芯片，特别是最新的M3系列，通过其独特的统一内存架构（Unified Memory Architecture, UMA），为端侧大模型推理...

2026-04-11andy阅读(253)评论(0)

如何利用TVM的BYOC功能加速AI模型在专用芯片上的部署 随着AI算力需求的激增，NPU、TPU等专用人工智能芯片（DSA）层出不穷。然而，如何让这些芯片快速适配种类繁多的模型框架（如PyTorch、TensorFlow）成了最大的痛点。...

2026-03-24andy阅读(284)评论(0)

如何利用 MNN 快速实现车载 AI 功能原型：从 NDK 开发到 GPU 加速适配 在车载 AI 开发中，座舱视觉（如 DMS 疲劳驾驶检测、OMS 乘员监控）和辅助驾驶功能对实时性要求极高。车载芯片（如高通 8155、芯驰 X9 系列）...

2026-03-22andy阅读(236)评论(0)

如何利用单卡 4-bit 量化技术在车载芯片上跑通 7B 规模的座舱智能管家模型 在智能座舱场景中，7B（70亿参数）规模的大模型已成为实现自然语音交互、行程规划和情感化管家的主流选择。然而，传统的 FP16 精度模型需要占用约 15GB ...

2026-03-09andy阅读(265)评论(0)

如何理解 Android NNAPI 的算子分发逻辑：从底层架构到实战调用 Android NNAPI (Neural Networks API) 是 Android 系统中专门为机器学习推理设计的 C API。它不直接运行模型，而是作为“...

2026-02-28andy阅读(357)评论(0)

如何通过系统底层指令精准监控国产AI芯片的算力能效比 在智算中心和国产化替代的趋势下，针对国产AI芯片（如华为昇腾、寒武纪、元枢等）的精细化监控变得至关重要。本文将以昇腾（Ascend）系列芯片为例，重点讲解如何通过底层指令获取实时功耗与算...

2026-02-27andy阅读(323)评论(0)

如何利用国产分布式框架实现跨异构芯片的混合调度 在国产化替代的大背景下，很多企业的数据中心不再是单一的架构，而是演变为一个包含华为昇腾（Ascend）、寒武纪（Cambricon）等多种国产AI芯片的异构算力池。如何打破厂商壁垒，在同一个集...

2026-02-26andy阅读(318)评论(0)

1. 背景：为什么相同的量化模型在不同芯片上精度不同？ 在国产化适配过程中，开发者常遇到一个困惑：在 PyTorch 下验证良好的 INT8 量化模型，部署到昇腾（Ascend）、寒武纪（Cambricon）或昆仑芯（KunlunCore）...