人工智能和大数据

2026-09-27andy阅读(126)

在大模型推理的 Decode 阶段，每一个 token 的生成都需要访问之前所有 token 的 Key 和 Value 向量——这就是 KV Cache。一个 70B 参数的模型在 4K 上下文下，单请求的 KV Cache 就可能占用超...

2026-09-27andy阅读(126)

SGLang 是由 LMSYS 团队（ChatBot Arena 的创建者）开源的大语言模型推理框架，凭借 RadixAttention 前缀复用技术和结构化生成能力，在多轮对话、Agent 工作流和 JSON 结构化输出场景中展现出显著优...

2026-09-27andy阅读(99)

在众多大模型推理框架中，NVIDIA 的 TensorRT-LLM 凭借对 GPU 硬件的深度优化，一直是吞吐量和延迟性能的天花板级选手。然而，它陡峭的学习曲线和复杂的模型转换流程让不少工程师望而却步——你需要理解 checkpoint 转...

2026-09-26andy阅读(155)

在大模型推理部署中，vLLM 凭借 PagedAttention、Continuous Batching 等核心技术成为了最流行的推理框架之一。然而，很多开发者在部署 vLLM 时仅仅使用了默认参数，并没有深入理解每个启动参数对吞吐量、延迟...

2026-09-26andy阅读(125)

大模型推理框架的选型是每一个 AI Infra 工程师绕不开的话题。当前主流的开源推理框架——vLLM、SGLang、TensorRT-LLM 和 HuggingFace TGI——各有特色，但到底哪个更适合你的业务场景？本文将通过真实的基...

2026-09-25andy阅读(136)

当大语言模型的参数量从 7B 一路攀升到 70B 甚至 405B 时，单张 GPU 的显存早已无法容纳完整模型。以 Llama-3-70B 为例，仅 FP16 权重就需要约 140GB 显存，远超单张 A100-80G 的容量上限。此时，将...

2026-09-25andy阅读(101)

在大模型推理框架的赛道上，vLLM 和 SGLang 风头正劲，TensorRT-LLM 凭借 NVIDIA 官方加持占据高端市场，但 HuggingFace 推出的 TGI（Text Generation Inference）依然是很多团...

2026-09-12andy阅读(160)

大模型的对齐（Alignment）训练是让预训练基座模型从「续写文本」变为「遵循人类意图」的关键环节。从2022年ChatGPT采用RLHF（Reinforcement Learning from Human Feedback）一鸣惊人，到...

2026-09-10andy阅读(141)

在社交网络分析、推荐系统、分子结构预测和知识图谱等场景中，数据天然以图（Graph）的形式存在。传统的卷积神经网络（CNN）擅长处理规则网格结构的数据（如图像），但对非欧几里得结构的图数据却力不从心。图神经网络（Graph Neural N...

2026-09-09andy阅读(128)

时间序列分析是数据科学中最常见也最具实战价值的领域之一。无论是金融市场的股价预测、电商平台的销量预估，还是运维场景下的流量监控，本质上都是对按时间顺序排列的数据进行建模与预测。Python 生态在时间序列方向已经非常成熟：Pandas 提供...