标签：分片

2026-02-05andy阅读(19)评论(0)

简介：集群倾斜与 Shard 数量的关系 Elasticsearch 集群倾斜（Cluster Skew）是指集群中的数据分片（Shard）在数据节点上分布不均匀，导致部分节点负载过高，而其他节点资源闲置。这不仅浪费了硬件资源，还会影响查询...

2026-02-01andy阅读(27)评论(0)

如何使用 PyTorch FSDP 解决超大模型单卡显存不足问题 随着大语言模型（LLM）的参数量突破百亿甚至万亿级别，传统的分布式训练方案（如DDP，数据并行）已经无法满足需求，因为DDP要求每张GPU都复制完整的模型权重、梯度和优化器状...

2026-01-31andy阅读(34)评论(0)

在智能座舱（Smart Cockpit）系统中，视觉模型（如高分辨率感知、驾驶员/乘客监控DMS/OMS模型）往往体积庞大且计算密集。单个算力单元（如特定的NPU或DSP）可能无法提供足够的内存或吞吐量。模型分片（Model Shardin...

2025-12-26andy阅读(83)评论(0)

在构建高性能的AI检索系统时，向量数据库（如Milvus、Pinecone或Weaviate）的分片（Sharding）策略是决定系统吞吐量和延迟的关键因素。分片的初衷是通过将数据分散到多个物理或逻辑分区上，实现查询的并行化，从而提高检索速...