欢迎光临

标签:协同

深度学习

车载 LLM 的端云协同架构:如何通过动态判定逻辑决定指令在本地还是云端执行(2026 更新版)

andy阅读(411)评论(0)

如何实现车载LLM端云协同:动态判定逻辑的设计与实战 在智能座舱场景下,完全依赖云端大模型(LLM)会面临网络延迟高、断网失效、流量成本昂贵以及隐私泄露等问题;而完全依赖端侧(本地)推理,则受限于车机芯片(如高通8155/8295)的算力,...

深度学习

怎样利用剪枝与量化协同优化:实现大模型参数量与存储空间的双重压缩实战

andy阅读(400)评论(0)

如何利用剪枝与量化协同优化:实现大模型参数量与存储空间的双重压缩实战 在部署大语言模型(LLM)或大型深度学习模型时,巨大的存储占用和内存消耗往往是核心瓶颈。单一的优化技术(如仅剪枝或仅量化)有时难以满足端侧设备极低的算力要求。本文将介绍一...

深度学习

如何利用多级可信架构:详解计算图切分技术在可信环境与非安全环境间的协同调度

andy阅读(385)评论(0)

如何利用计算图切分实现可信环境(TEE)与非安全环境(REE)协同推理 在端侧AI应用中,保护模型权重或用户隐私数据至关重要。传统的全加密推理(如全同态加密)性能极差,而“计算图切分”技术提供了一种实用的平衡方案:将涉及敏感隐私的计算环节(...