标签：cpu

2025-12-26andy阅读(30)评论(0)

在构建高性能的AI检索系统时，向量数据库（如Milvus、Pinecone或Weaviate）的分片（Sharding）策略是决定系统吞吐量和延迟的关键因素。分片的初衷是通过将数据分散到多个物理或逻辑分区上，实现查询的并行化，从而提高检索速...

2025-12-24andy阅读(33)评论(0)

在高性能AI基础设施中，多GPU并行技术是提升模型检索（如向量搜索、大模型推理）吞吐量和降低延迟的关键。然而，当我们将模型或数据进行分片（Sharding）部署到多个GPU上时，一个不可避免的性能瓶颈随之而来：结果分片同步和聚合的延迟损耗。...

2025-12-23andy阅读(31)评论(0)

在AI基础设施中，特别是进行大规模向量相似性搜索时，使用GPU加速是提高检索速度的关键。然而，当索引的向量数量达到数十亿甚至数万亿时，索引所需的存储容量往往会轻松超过单张GPU的显存上限（如24GB、80GB）。这时，一个核心的工程问题是：...

2025-12-23andy阅读(29)评论(0)

对于个人站长来说，购买VPS后最担心的问题之一就是“资源超售”（Overcommitment），即物理母机上塞入了过多的虚拟机，导致性能下降，也就是遇到了“吵闹的邻居”（Noisy Neighbors）。由于我们无法直接登录母机查看，因此必...

2025-12-22andy阅读(52)评论(0)

许多个人站长在选择公有云的入门级VPS或虚拟机时，会遇到所谓的“突发型实例”或“共享型实例”（例如阿里云的T5/T6系列，AWS的T系列）。这些实例通常价格低廉，但它们在CPU使用上有一套特殊的机制——CPU信用积分（CPU Credit）...

2025-12-22andy阅读(53)评论(0)

对于个人站长而言，选择公有云或 VPS 时，最担心的问题之一就是主机提供商过度超售资源，导致你的虚拟机（VM）性能不稳定，这就是所谓的“吵闹的邻居”（Noisy Neighbor）问题。尤其在 CPU 密集型任务中，如果邻居占用了大量 CP...

2025-11-26andy阅读(140)评论(0)

vLLM因其出色的GPU吞吐量而闻名，但在某些场景下（如本地开发、功能测试或资源受限的环境），用户可能需要在纯CPU上运行vLLM服务。虽然性能远不如GPU，但通过正确的配置，我们依然可以利用vLLM的简洁API和高效加载机制在CPU上启动...

2025-11-14andy阅读(179)评论(0)

在深度学习模型训练中，GPU的计算速度远超CPU的数据准备和I/O速度。如果数据加载跟不上GPU的消费速度，就会出现“GPU饥饿”（GPU Starvation），导致GPU资源闲置，浪费了昂贵的计算时间。本文将深入探讨PyTorch中配置...