标签：文本

2026-03-19andy阅读(37)评论(0)

背景与挑战 在多模态大模型（MLLM）的实际部署中，开发者常面临「图文冲突」问题：用户输入的文本指令（Instruction）与上传的图像内容（Image）存在事实性矛盾。例如，指令要求「统计图中红苹果的数量」，但图像中仅存在绿苹果。在这种...

2026-03-16andy阅读(37)评论(0)

如何通过 PagedAttention 与分块量化结合：解决移动端内存碎片化导致的长文本 OOM 在移动端部署大语言模型（LLM）时，内存压力主要源于 KV Cache。随着对话长度增加，KV Cache 呈线性增长，且传统的连续内存分配方...

2026-02-15andy阅读(79)评论(0)

作为架构师，支撑百万级的并发长文本（如大模型推理）请求，同时保证低延时，是一个极具挑战性的任务。长文本推理的挑战在于：推理时间长（Token生成速度慢），且显存消耗大（KV Cache占用）。纯粹的增加服务器并不能解决根本问题，我们需要一套...