汤不热吧
基于 TensorRT 的车载视觉模型转换指南：解决端侧算子不支持导致的转换失败痛点
如何解决车载视觉模型 TensorRT 转换中的算子不支持痛点 在车载 AI 部署领域，将 PyTorch 模型转换为 TensorRT 引擎是提升推理速度的必经之路。然而，由于车载视觉模型常包含一些特殊的采样（如 GridSample）或...
深度学习
第7页座舱红外摄像头深度学习模型部署详解：如何针对夜间低光照环境优化算子精度
如何针对座舱红外摄像头模型优化夜间低光照环境下的算子精度 在智能座舱场景中，红外摄像头（IR）是实现疲劳驾驶监测（DMS）和乘客监测（OMS）的核心硬件。然而，夜间低光照环境下，IR图像往往存在高噪点、对比度低的问题。当模型从FP32量化为...
怎样通过零拷贝技术处理车载摄像头原始流：提升 OMS 模型输入效率的底层方案
如何通过DMA-BUF零拷贝技术处理车载摄像头原始流：提升OMS模型输入效率 在车载监控系统（OMS）或高级驾驶辅助系统（ADAS）的开发中，摄像头数据流的实时性至关重要。传统的处理流程通常是：摄像头 -> V4L2驱动 -> 用户空间拷贝...
座舱视觉感知系统优化：如何通过算子融合实现 DMS 疲劳监测与多手势识别的并发执行
前言 在智能座舱领域，DMS（驾驶员监控系统）和多手势识别是两个核心算法。由于车载芯片的算力资源通常较为受限，如果将两个模型独立运行，会带来巨大的IO开销和计算冗余。本文将介绍如何通过多任务学习（Multi-task Learning）与算...
怎样利用单卡 4-bit 量化技术在车载芯片上跑通 7B 规模的座舱智能管家模型
如何利用单卡 4-bit 量化技术在车载芯片上跑通 7B 规模的座舱智能管家模型 在智能座舱场景中，7B（70亿参数）规模的大模型已成为实现自然语音交互、行程规划和情感化管家的主流选择。然而，传统的 FP16 精度模型需要占用约 15GB ...
如何针对座舱环境进行大模型的指令微调：详解车载垂直领域的 RAG 知识库构建
如何针对座舱环境构建智能助手：指令微调与车载RAG知识库实操全解析 在智能座舱（Smart Cockpit）领域，大模型（LLM）不仅要懂聊天，更要懂车载控制（HMI）和极其专业的汽车说明书。通用的基础模型往往在特定车型知识上存在“幻觉”。...
车载 LLM 的端云协同架构：如何通过动态判定逻辑决定指令在本地还是云端执行
如何实现车载LLM端云协同：动态判定逻辑的设计与实战 在智能座舱场景下，完全依赖云端大模型（LLM）会面临网络延迟高、断网失效、流量成本昂贵以及隐私泄露等问题；而完全依赖端侧（本地）推理，则受限于车机芯片（如高通8155/8295）的算力，...
怎样优化座舱内多模态大模型的 KV Cache：解决长对话场景下的显存占用溢出难题
如何优化座舱多模态大模型的 KV Cache：解决长对话场景下的显存占用溢出难题 在智能座舱场景下，多模态大模型（VLM）需要实时处理语音、视觉（如驾驶员监控）和长文本上下文。由于座舱 SoC 的显存（如 Orin X 或骁龙 8295）通...
座舱语音交互加速详解：如何通过离线 ASR 与流式推理实现百毫秒级的反馈速度
如何通过离线ASR与流式推理实现座舱语音百毫秒级响应 在智能座舱场景下，语音交互的“实时感”是提升用户体验的关键。传统的云端语音识别（ASR）受限于网络波动，延迟往往高达 1-2 秒。本文将深入探讨如何利用 离线流式推理（Streaming...
如何通过模型分片技术将大型视觉模型跨核心部署在智能座舱的不同算力单元上
如何通过模型分片技术将大型视觉模型跨核心部署在智能座舱异构单元 在智能座舱场景下，SoC芯片（如高通8295、华为麒麟系列）通常集成有多个异构算力单元（NPU、GPU、DSP）。当单颗NPU无法承载大参数量模型或需要降低单核功耗时，模型分片...