标签：优化

2026-02-06andy阅读(41)评论(0)

Elasticsearch（ES）的性能和稳定性在很大程度上取决于其内存管理。合理的内存分配，尤其是对JVM堆内存（On-Heap）和操作系统文件系统缓存（Off-Heap）的平衡配置，是优化ES集群的关键。 1. JVM 堆内存（Heap...

2026-02-06andy阅读(85)评论(0)

在训练万亿参数（TB级权重）的大型语言模型（LLM）时，断点续训（Checkpointing）是至关重要的一环。然而，传统的PyTorch保存方式通常需要Rank 0节点聚合所有权重，这会导致严重的I/O瓶颈和内存溢出，使得保存一次权重可能...

2026-02-06andy阅读(81)评论(0)

在高性能 Java 应用中，频繁创建短生命周期的对象是导致 GC（垃圾回收）压力过大的主要原因之一。尽管新生代的回收速度非常快，但如果能完全消除对象的分配，性能提升将更为显著。这就是 Java HotSpot JVM 中一项强大的 JIT ...

2026-02-04andy阅读(57)评论(0)

大规模语言模型（LLM）的推理性能是部署成功的关键。在推理过程中，模型通常经历两个截然不同的阶段：Prefill（预填充/上下文处理）和Decode（解码/生成）。理解这两个阶段的资源需求和冲突，是优化吞吐量（Throughput）和首字节...

2026-02-04andy阅读(48)评论(0)

Faiss (Facebook AI Similarity Search) 是一个高效的向量相似度搜索库。然而，在将其部署到需要高并发查询的环境（例如 Web 服务）时，如果简单地使用 Python 的多线程，很快就会遇到性能急剧下降甚至不...

2026-02-03andy阅读(55)评论(0)

在处理大规模向量数据集时，内存占用往往是制约系统扩展性的瓶颈。Faiss 提供了多种索引结构来优化搜索速度和内存，其中 Scalar Quantizer (SQ) 是一种简单高效的内存优化技术，尤其适用于对精度要求不太严苛的场景。 本文将深...

2026-02-02andy阅读(56)评论(0)

在将 PyTorch 模型部署到资源受限的移动设备（如 Android/iOS）或嵌入式系统时，性能优化是至关重要的环节。PyTorch 提供了 TorchScript 机制，允许将模型序列化并在非 Python 环境中运行。而 torch...

2026-02-01andy阅读(64)评论(0)

作为一名搜索技术专家，我们深知查询速度对于用户体验的重要性。在 Elasticsearch (ES) 中，提升查询速度最简单也最有效的方法之一，就是正确区分和利用 query 上下文和 filter 上下文。 1. 深入理解 Query C...

2026-01-30andy阅读(90)评论(0)

在PyTorch深度学习训练中，数据加载的速度（即I/O吞吐量）往往是整个训练流程的瓶颈。当尝试使用多进程（num_workers > 0）来加速数据读取时，用户可能会遇到程序锁死、内存暴涨或性能不升反降的问题。本文将深入解析如何通过合理配...