
NCCL 多机初始化卡住怎么查?网卡、端口与 rank 日志
用 PyTorch 最小探针定位 torchrun rendezvous、NCCL Bootstrap 和第一次 all_reduce,附选错网卡的实测日志。

用 PyTorch 最小探针定位 torchrun rendezvous、NCCL Bootstrap 和第一次 all_reduce,附选错网卡的实测日志。

按 vLLM 启动和请求日志区分权重加载 OOM、KV Cache 容量不足与高并发抢占,附 RTX 2080 Ti 单卡复现。

用 all_reduce_perf 建立 NCCL 单机和多节点基线,区分 algbw、busbw 与 in-place,检查 GPU 拓扑和网络后端,附日志汇总脚本。

排查 Hugging Face hf download 的 401、403、404 和下载中断,核对 gated 授权与 Token,固定 revision 下载并校验缓存,附真实小文件验证。
模型下载后缺分片或加载失败?用可运行的 Python 工具检查 Safetensors 索引、张量名与 SHA-256,并用小型模拟权重演示缺失、截断和等长修改。

为什么 Prefix Caching 成为大模型推理的必备优化? 在大模型推理服务的生产环境中,一个经常被忽视但影响巨大的现象是:大量请求共享相同的前缀。无论是系统提示词(System Prompt)、Few-shot 示例,还是多轮对话中...

引言:为什么梯度累积是大模型训练的”隐形基础设施” 在 ChatGPT 横空出世的三年后,大模型训练的”显学”似乎已经从单卡微调转移到了千卡预训练。各类技术文章铺天盖地讨论着 3D 并行、Ze...

fp8_dpa是什么,Megatron为何没有启用FP8 Attention?对照TE与Megatron配置,纠正margin和amax历史窗口误解,附最小代码与BF16验收方法。

引言:Prefill 阶段的”独木桥”困境 在大模型推理的工程实践中,我们常常遇到这样一个矛盾场景:当请求队列中有一个长文本(比如 32K tokens 的法律文档)正在进行 Prefill 处理时,后面排队等候的短...
引言:为什么 Batching 策略决定了推理服务的天花板 在大模型推理服务的工程实践中,有一个经常被低估却至关重要的设计决策:如何将并发的用户请求组织成批次(Batch)送入 GPU 执行。这个看似简单的调度问题,实际上直接决定了服务的吞...