人工智能和大数据

2026-09-26andy阅读(275)

在大模型推理部署中，vLLM 凭借 PagedAttention、Continuous Batching 等核心技术成为了最流行的推理框架之一。然而，很多开发者在部署 vLLM 时仅仅使用了默认参数，并没有深入理解每个启动参数对吞吐量、延迟...

2026-09-26andy阅读(211)

大模型推理框架的选型是每一个 AI Infra 工程师绕不开的话题。当前主流的开源推理框架——vLLM、SGLang、TensorRT-LLM 和 HuggingFace TGI——各有特色，但到底哪个更适合你的业务场景？本文将通过真实的基...

2026-09-25andy阅读(236)

当大语言模型的参数量从 7B 一路攀升到 70B 甚至 405B 时，单张 GPU 的显存早已无法容纳完整模型。以 Llama-3-70B 为例，仅 FP16 权重就需要约 140GB 显存，远超单张 A100-80G 的容量上限。此时，将...

2026-09-25andy阅读(155)

在大模型推理框架的赛道上，vLLM 和 SGLang 风头正劲，TensorRT-LLM 凭借 NVIDIA 官方加持占据高端市场，但 HuggingFace 推出的 TGI（Text Generation Inference）依然是很多团...

2026-09-12andy阅读(220)

大模型的对齐（Alignment）训练是让预训练基座模型从「续写文本」变为「遵循人类意图」的关键环节。从2022年ChatGPT采用RLHF（Reinforcement Learning from Human Feedback）一鸣惊人，到...

2026-09-10andy阅读(210)

在社交网络分析、推荐系统、分子结构预测和知识图谱等场景中，数据天然以图（Graph）的形式存在。传统的卷积神经网络（CNN）擅长处理规则网格结构的数据（如图像），但对非欧几里得结构的图数据却力不从心。图神经网络（Graph Neural N...

2026-09-09andy阅读(187)

时间序列分析是数据科学中最常见也最具实战价值的领域之一。无论是金融市场的股价预测、电商平台的销量预估，还是运维场景下的流量监控，本质上都是对按时间顺序排列的数据进行建模与预测。Python 生态在时间序列方向已经非常成熟：Pandas 提供...

2026-09-08andy阅读(241)

在构建 RAG（检索增强生成）系统和多模态 AI 应用的过程中，向量数据库的选择直接决定了检索性能、存储成本和工程复杂度。大多数主流向量数据库（Milvus、Qdrant、Weaviate）都需要独立部署服务进程，而 LanceDB 提供了...

2026-09-08andy阅读(235)

在大模型推理的工程实践中，KV Cache 是一把双刃剑：它通过缓存历史 Token 的 Key 和 Value 向量避免了重复计算，是自回归推理加速的基石；但它同时也是显存消耗的”头号杀手”。以一个 70B 参数模...

2026-09-08阅读(205)评论(0)

在大语言模型参数量从百亿迈向千亿、万亿的时代，一个核心矛盾愈发凸显：模型容量越大效果越好，但推理和训练的算力开销呈线性甚至二次增长。Mixture of Experts（MoE，混合专家）架构通过稀疏激活机制破解了这一困局——模型总参数量可...