标签：架构

2026-03-21andy阅读(23)评论(0)

如何实现车载LLM端云协同：动态判定逻辑的设计与实战 在智能座舱场景下，完全依赖云端大模型（LLM）会面临网络延迟高、断网失效、流量成本昂贵以及隐私泄露等问题；而完全依赖端侧（本地）推理，则受限于车机芯片（如高通8155/8295）的算力，...

2026-03-17andy阅读(49)评论(0)

如何利用 ARM i8mm 指令集加速端侧量化模型推理 在端侧 AI 推理（如手机、嵌入式设备）中，Int8 量化是提升性能、降低能耗的核心技术。传统的 ARM NEON 指令集虽有 SDOT (点乘) 指令，但在处理大规模矩阵乘法时仍显吃...

2026-03-09andy阅读(49)评论(0)

如何利用计算图切分实现可信环境（TEE）与非安全环境（REE）协同推理 在端侧AI应用中，保护模型权重或用户隐私数据至关重要。传统的全加密推理（如全同态加密）性能极差，而“计算图切分”技术提供了一种实用的平衡方案：将涉及敏感隐私的计算环节（...

2026-03-07andy阅读(55)评论(0)

为什么需要 TEE 可信推理？ 在移动端或边缘侧部署 AI 模型时，模型资产的安全性面临严峻挑战。传统的磁盘加密或混淆技术容易被 Root 权限后的攻击者通过内存镜像、侧信道分析等手段破解。ARM TrustZone 技术提供的 TEE (...

2026-03-05andy阅读(52)评论(0)

在移动端部署深度学习模型时，开发者常面临一个困境：简单的设置线程数为核心总数往往会导致严重的发热降频，而线程数太少又无法满足实时性需求。本文将深入解析如何在 ARM big.LITTLE 架构（如典型的 A76+A55 组合）下，通过合理的...

2026-02-25andy阅读(155)评论(0)

引言 随着国产 GPU 算力的快速发展，摩尔线程推出的 MUSA (Moore Threads Unified System Architecture) 架构因其对 CUDA 生态的高度兼容性，成为 AI 开发者实现国产化替代的首选路径之一...

2026-02-23andy阅读(74)评论(0)

如何通过 AclLite 封装大幅简化昇腾推理程序的开发流程 在国产昇腾（Ascend）芯片上进行 AI 推理开发时，开发者通常需要直接面对 CANN (Compute Architecture for Neural Networks) 的...

2026-02-22andy阅读(70)评论(0)

怎么解决深度学习模型在不同手机芯片上的推理结果不一致问题 在将AI模型部署到移动端（如安卓或iOS）时，开发者经常发现同样的模型在不同手机上的输出结果存在微小差异。这种现象在跨芯片平台（如从高通骁龙迁移到联发科天玑）或跨推理后端（如从CPU...

2026-02-15andy阅读(78)评论(0)

在 Android 端侧推理项目中，我们通常需要集成各种高性能计算库（如 TNN, MNN, NCNN 或 TensorFlow Lite的自定义 Delegate），这些库都以 .so 动态链接库的形式提供。管理这些 .so 文件面临两大...

2026-02-14andy阅读(94)评论(0)

在云原生环境中，尤其是 Kubernetes 集群中，日志管理面临巨大的挑战：容器的短暂生命周期、日志输出的分散性以及对高性能、低延迟的需求。日志的统一收集、存储和分析是保障系统稳定运行和快速排障的关键。 本文将聚焦于最流行的云原生日志架构...