汤不热吧
【今日观点】 如何解决在WSL系统中tail -f windows文件内容不能实时刷新的问题
如何解决在WSL系统中tail -f windows文件内容不能实时刷新的问题 日常在windows10系统下开发，想借助wsl2里的ubuntu中的命令，方便日常工作， 比如使用tail -f、grep等命令定位查看日志。 我们都知道wi...
最新发布
如何为LLM应用设置责任链（Chain of Responsibility）机制？
如何为LLM应用设计并实现责任链（Chain of Responsibility）机制 在构建生成式AI应用时，开发者往往面临复杂的流水线需求：输入脱敏、缓存检索、提示词增强、模型路由、结果合规性检查等。如果将这些逻辑线性堆叠，代码将迅速演...
怎样通过零拷贝技术处理车载摄像头原始流：提升 OMS 模型输入效率的底层方案
如何通过DMA-BUF零拷贝技术处理车载摄像头原始流：提升OMS模型输入效率 在车载监控系统（OMS）或高级驾驶辅助系统（ADAS）的开发中，摄像头数据流的实时性至关重要。传统的处理流程通常是：摄像头 -> V4L2驱动 -> 用户空间拷贝...
怎样为LLM生成结果集成不确定性（Uncertainty）指标？
如何在推理服务中为 LLM 生成结果集成不确定性度量？ 在生产环境中部署大语言模型（LLM）时，模型生成的“幻觉”（Hallucination）是影响业务落地的核心挑战。为了提升系统的可靠性，在 AI Infra 层面集成不确定性（Unce...
座舱视觉感知系统优化：如何通过算子融合实现 DMS 疲劳监测与多手势识别的并发执行
前言 在智能座舱领域，DMS（驾驶员监控系统）和多手势识别是两个核心算法。由于车载芯片的算力资源通常较为受限，如果将两个模型独立运行，会带来巨大的IO开销和计算冗余。本文将介绍如何通过多任务学习（Multi-task Learning）与算...
怎样利用单卡 4-bit 量化技术在车载芯片上跑通 7B 规模的座舱智能管家模型
如何利用单卡 4-bit 量化技术在车载芯片上跑通 7B 规模的座舱智能管家模型 在智能座舱场景中，7B（70亿参数）规模的大模型已成为实现自然语音交互、行程规划和情感化管家的主流选择。然而，传统的 FP16 精度模型需要占用约 15GB ...
如何为Agent的工具调用（Tool Use）实现严格的输入验证和权限控制？
引言 在构建基于大语言模型（LLM）的 Agent 时，工具调用（Tool Use）是实现模型与外部系统交互的核心。然而，LLM 输出的不确定性极易引发安全风险，例如模型可能会生成超出范围的参数，或者尝试调用超出其权限的操作。本文将介绍如何...
如何针对座舱环境进行大模型的指令微调：详解车载垂直领域的 RAG 知识库构建
如何针对座舱环境构建智能助手：指令微调与车载RAG知识库实操全解析 在智能座舱（Smart Cockpit）领域，大模型（LLM）不仅要懂聊天，更要懂车载控制（HMI）和极其专业的汽车说明书。通用的基础模型往往在特定车型知识上存在“幻觉”。...
怎样利用QLoRA/PEFT在消费级GPU上安全且高效地微调大模型？
如何利用QLoRA在消费级GPU上实现大模型的高效微调 在生成式AI蓬勃发展的今天，大语言模型（LLM）的参数量已从百亿迈向千亿规模。对于个人开发者和中小型初创公司而言，动辄数百GB的显存需求成为了微调大模型的巨大障碍。QLoRA（Quan...
车载 LLM 的端云协同架构：如何通过动态判定逻辑决定指令在本地还是云端执行
如何实现车载LLM端云协同：动态判定逻辑的设计与实战 在智能座舱场景下，完全依赖云端大模型（LLM）会面临网络延迟高、断网失效、流量成本昂贵以及隐私泄露等问题；而完全依赖端侧（本地）推理，则受限于车机芯片（如高通8155/8295）的算力，...
怎样优化座舱内多模态大模型的 KV Cache：解决长对话场景下的显存占用溢出难题
如何优化座舱多模态大模型的 KV Cache：解决长对话场景下的显存占用溢出难题 在智能座舱场景下，多模态大模型（VLM）需要实时处理语音、视觉（如驾驶员监控）和长文本上下文。由于座舱 SoC 的显存（如 Orin X 或骁龙 8295）通...