汤不热吧
怎样利用单卡 4-bit 量化技术在车载芯片上跑通 7B 规模的座舱智能管家模型
如何利用单卡 4-bit 量化技术在车载芯片上跑通 7B 规模的座舱智能管家模型 在智能座舱场景中，7B（70亿参数）规模的大模型已成为实现自然语音交互、行程规划和情感化管家的主流选择。然而，传统的 FP16 精度模型需要占用约 15GB ...
深度学习
第6页如何针对座舱环境进行大模型的指令微调：详解车载垂直领域的 RAG 知识库构建
如何针对座舱环境构建智能助手：指令微调与车载RAG知识库实操全解析 在智能座舱（Smart Cockpit）领域，大模型（LLM）不仅要懂聊天，更要懂车载控制（HMI）和极其专业的汽车说明书。通用的基础模型往往在特定车型知识上存在“幻觉”。...
车载 LLM 的端云协同架构：如何通过动态判定逻辑决定指令在本地还是云端执行
如何实现车载LLM端云协同：动态判定逻辑的设计与实战 在智能座舱场景下，完全依赖云端大模型（LLM）会面临网络延迟高、断网失效、流量成本昂贵以及隐私泄露等问题；而完全依赖端侧（本地）推理，则受限于车机芯片（如高通8155/8295）的算力，...
怎样优化座舱内多模态大模型的 KV Cache：解决长对话场景下的显存占用溢出难题
如何优化座舱多模态大模型的 KV Cache：解决长对话场景下的显存占用溢出难题 在智能座舱场景下，多模态大模型（VLM）需要实时处理语音、视觉（如驾驶员监控）和长文本上下文。由于座舱 SoC 的显存（如 Orin X 或骁龙 8295）通...
座舱语音交互加速详解：如何通过离线 ASR 与流式推理实现百毫秒级的反馈速度
如何通过离线ASR与流式推理实现座舱语音百毫秒级响应 在智能座舱场景下，语音交互的“实时感”是提升用户体验的关键。传统的云端语音识别（ASR）受限于网络波动，延迟往往高达 1-2 秒。本文将深入探讨如何利用 离线流式推理（Streaming...
如何通过模型分片技术将大型视觉模型跨核心部署在智能座舱的不同算力单元上
如何通过模型分片技术将大型视觉模型跨核心部署在智能座舱异构单元 在智能座舱场景下，SoC芯片（如高通8295、华为麒麟系列）通常集成有多个异构算力单元（NPU、GPU、DSP）。当单颗NPU无法承载大参数量模型或需要降低单核功耗时，模型分片...
车载端侧 AI 的“防中暑”策略：详解温控系统对座舱模型推理频率的动态限制逻辑
如何实现车载端侧AI的“防中暑”策略：基于温度感知的模型推理动态调频 在智能座舱场景下，DMS（驾驶员监控系统）和OMS（乘客监控系统）通常需要7×24小时全天候待命。然而，车载SoC（如高通8155、芯驰X9等）面临的物理环境极...
如何通过 Hypervisor 虚拟化技术保障座舱 AI 任务与仪表系统的硬件资源隔离
如何通过 Hypervisor 虚拟化技术保障座舱 AI 任务与仪表系统的硬件资源隔离 在现代智能座舱架构中，\”单芯片多系统\”（One-Chip-Multi-OS）已成为主流方案。通常，一颗高性能 SoC（如高通...
车载 SOC 异构计算详解：如何在智能座舱中平衡 CPU、GPU 与 NPU 的算力配比
如何在车载SOC中实现异构算力平衡：以NPU与GPU协同推理优化为例 在智能座舱开发中，开发者常面临如DMS（驾驶员监控）、OMS（乘员监控）等实时性要求极高的AI任务。单纯依赖NPU往往会因为前后处理（如颜色空间转换、归一化）占用过多CP...
怎样通过硬件感知的量化搜索（NAS+Quant）：针对不同 SoC 自动寻找最优的压缩方案
在端侧AI部署中，不同厂商的SoC（如高通骁龙的DSP、华为昇腾的NPU、联发科的APU）对不同算子位宽的加速效率截然不同。传统的统一INT8量化往往无法榨干硬件性能。本文将介绍如何利用硬件感知量化搜索（Hardware-Aware Qua...