标签：推理

2026-04-14andy阅读(54)评论(0)

资源介绍 在 AI 领域，模型推理加速是让 AI 应用真正走向落地的关键。今天我为大家深度安利一个来自 Hugging Face 社区的宝藏级教程：《Transformers 性能与可伸缩性指南》（Performance and Scala...

2026-04-06andy阅读(75)评论(0)

1. 为什么关注端侧推理优化？ 在AI自学过程中，我发现虽然云端算力强大，但端侧（如手机、笔记本、嵌入式设备）的本地推理才是降低延迟、保护隐私、减少成本的关键。今天分享一个顶级开源资源：MLC LLM (Machine Learning C...

2026-03-28andy阅读(92)评论(0)

在高频交易（HFT）领域，胜负往往在微秒之间。当深度学习模型（如Transformer或LSTM）被引入交易策略时，传统的Python Inference Server（如Flask或FastAPI）因其GIL锁和高昂的序列化开销，完全无法...

2026-03-24andy阅读(96)评论(0)

如何利用 MNN 快速实现车载 AI 功能原型：从 NDK 开发到 GPU 加速适配 在车载 AI 开发中，座舱视觉（如 DMS 疲劳驾驶检测、OMS 乘员监控）和辅助驾驶功能对实时性要求极高。车载芯片（如高通 8155、芯驰 X9 系列）...

2026-03-21andy阅读(101)评论(0)

如何通过离线ASR与流式推理实现座舱语音百毫秒级响应 在智能座舱场景下，语音交互的“实时感”是提升用户体验的关键。传统的云端语音识别（ASR）受限于网络波动，延迟往往高达 1-2 秒。本文将深入探讨如何利用 离线流式推理（Streaming...

2026-03-20andy阅读(93)评论(0)

如何实现车载端侧AI的“防中暑”策略：基于温度感知的模型推理动态调频 在智能座舱场景下，DMS（驾驶员监控系统）和OMS（乘客监控系统）通常需要7×24小时全天候待命。然而，车载SoC（如高通8155、芯驰X9等）面临的物理环境极...

2026-03-20andy阅读(120)评论(0)

如何通过 Qualcomm AI Stack 优化 8295 上的大模型推理：从算子下沉到内存压榨 高通 SA8295P (骁龙 8295) 作为当前智能座舱的性能标杆，其集成的 Hexagon Tensor Processor (HTP)...

2026-03-19andy阅读(81)评论(0)

如何通过手机 NPU 加速 4-bit 模型推理：详解权重预重排（Weight Pre-packing）的必要性 在移动端部署大语言模型（LLM）或高性能视觉模型时，4-bit 量化已成为标配。然而，许多开发者发现，仅仅将模型量化为 4-b...

2026-03-15andy阅读(137)评论(0)

如何利用 FP8 量化突破端侧 LLM 推理瓶颈：对比 INT8 的精度优势 在将大语言模型（LLM）部署到手机、边缘网关或国产 NPU 等端侧设备时，显存带宽和容量通常是最大的制约因素。为了压缩模型，INT8 量化曾是主流方案。然而，随着...

2026-03-14andy阅读(94)评论(0)

1. 为什么 LLM 全量化这么难？ 在端侧部署大语言模型（LLM）时，W8A8（权重和激活均为8位）全量化是极致加速和节省内存的核心。然而，LLM 在推理时，激活值（Activations）中常会出现极少数数值巨大的“离群点”（Outli...