标签：tcp

2025-12-05andy阅读(15)评论(0)

在现代AI基础设施中，高性能的模型服务通常不只依赖标准的HTTP协议（L7）。例如，gRPC服务、Redis缓存层、或自定义的高速二进制协议通常需要进行四层（L4，TCP/UDP）的负载均衡和代理。Nginx凭借其强大的stream模块，可...

2025-11-09andy阅读(80)评论(0)

在现代大规模AI训练中，特别是处理LLM或大型视觉模型时，计算资源（GPU）的利用率往往受限于通信带宽和延迟。集体通信操作（如AllReduce、AllGather）是分布式训练的核心，其延迟直接决定了训练的迭代速度。要实现50%以上的延迟...