标签：端侧

2026-04-06andy阅读(23)评论(0)

1. 为什么关注端侧推理优化？ 在AI自学过程中，我发现虽然云端算力强大，但端侧（如手机、笔记本、嵌入式设备）的本地推理才是降低延迟、保护隐私、减少成本的关键。今天分享一个顶级开源资源：MLC LLM (Machine Learning C...

2026-03-23andy阅读(45)评论(0)

如何解决车载视觉模型 TensorRT 转换中的算子不支持痛点 在车载 AI 部署领域，将 PyTorch 模型转换为 TensorRT 引擎是提升推理速度的必经之路。然而，由于车载视觉模型常包含一些特殊的采样（如 GridSample）或...

2026-03-20andy阅读(55)评论(0)

如何实现车载端侧AI的“防中暑”策略：基于温度感知的模型推理动态调频 在智能座舱场景下，DMS（驾驶员监控系统）和OMS（乘客监控系统）通常需要7×24小时全天候待命。然而，车载SoC（如高通8155、芯驰X9等）面临的物理环境极...

2026-03-17andy阅读(87)评论(0)

如何利用 ARM i8mm 指令集加速端侧量化模型推理 在端侧 AI 推理（如手机、嵌入式设备）中，Int8 量化是提升性能、降低能耗的核心技术。传统的 ARM NEON 指令集虽有 SDOT (点乘) 指令，但在处理大规模矩阵乘法时仍显吃...

2026-03-17andy阅读(76)评论(0)

如何利用分级加载与量化存储实现端侧 LLM 的极致省电与低内存占用 在大模型（LLM）进军手机、平板和边缘网关的趋势下，内存（RAM）和功耗成了最大的绊脚石。一个 Llama-3-8B 模型如果以 FP16 运行需要约 16GB 内存，这足...

2026-03-16andy阅读(79)评论(0)

1. 为什么端侧模型需要 OmniQuant？ 在端侧（手机、嵌入式设备）部署大语言模型（LLM）或大型视觉模型时，量化（Quantization）是必不可少的。然而，传统的后量化（PTQ）方法（如简单的 Round-to-Nearest）...

2026-03-15andy阅读(93)评论(0)

如何利用 FP8 量化突破端侧 LLM 推理瓶颈：对比 INT8 的精度优势 在将大语言模型（LLM）部署到手机、边缘网关或国产 NPU 等端侧设备时，显存带宽和容量通常是最大的制约因素。为了压缩模型，INT8 量化曾是主流方案。然而，随着...

2026-03-14andy阅读(65)评论(0)

1. 为什么 LLM 全量化这么难？ 在端侧部署大语言模型（LLM）时，W8A8（权重和激活均为8位）全量化是极致加速和节省内存的核心。然而，LLM 在推理时，激活值（Activations）中常会出现极少数数值巨大的“离群点”（Outli...

2026-03-13andy阅读(63)评论(0)

如何在 Android 端优雅处理 TFLite 模型动态尺寸推理而无需频繁重构计算图 在移动端 AI 开发中，我们经常遇到输入尺寸不固定的场景，如 OCR 识别（文本行长度不一）、超分辨率（图片尺寸各异）或音频处理（时长不同）。传统的做法...

2026-03-09andy阅读(68)评论(0)

背景：为什么 AI 推理需要 TEE？ 在端侧 AI 场景中，模型权重和用户隐私数据（如人脸特征、生物信息）通常是最高级别的核心资产。传统的推理过程在 CPU 或 GPU 的通用内存中进行，极易受到 Root 提权攻击或恶意内存扫描。TEE...