标签：流式

2026-01-31andy阅读(12)评论(0)

在现代智能座舱中，语音交互的体验直接决定了用户的满意度。传统的云端 ASR（自动语音识别）虽然识别精度高，但其固有的网络传输和全句等待时间，使得端到端延迟通常在数百毫秒甚至秒级，难以满足实时交互对“零延迟”的严苛要求。 本文将聚焦如何结合离...

2026-01-30andy阅读(10)评论(0)

在处理 TB 级别或者需要实时生成的流式数据集时，传统的 PyTorch Dataset（Map-style Dataset，通过 __getitem__ 随机访问）机制会遇到致命的内存瓶颈。因为这类数据集要求在初始化时或者通过索引访问时将...

2025-11-14andy阅读(266)评论(0)

在部署大型语言模型（LLM）时，特别是面向公众的服务，内容安全是至关重要的。传统的安全护栏（Guardrail）通常在用户输入端进行检查（Pre-Filter），但这无法应对模型在生成过程中可能出现的幻觉或有害内容（如仇恨言论、恶意指令）。...