标签：百万

2026-02-15andy阅读(27)评论(0)

作为架构师，支撑百万级的并发长文本（如大模型推理）请求，同时保证低延时，是一个极具挑战性的任务。长文本推理的挑战在于：推理时间长（Token生成速度慢），且显存消耗大（KV Cache占用）。纯粹的增加服务器并不能解决根本问题，我们需要一套...

2026-02-13andy阅读(38)评论(0)

Java 平台自诞生以来，其并发模型主要基于“平台线程”（Platform Threads），即操作系统线程的一对一映射。当并发量达到数万级别时，创建和管理这些重量级的操作系统线程会带来巨大的内存开销和上下文切换成本，严重限制了Java在高...

2026-01-30andy阅读(73)评论(0)

引言：为什么需要 Faiss GPU？ 在处理海量向量数据（例如，数百万或数十亿个128维或更高维度的向量）时，传统的CPU计算受限于核心数量和内存带宽，查询延迟往往难以接受。Faiss通过其高度优化的GPU模块，能够充分利用NVIDIA ...