汤不热吧在构建大规模向量搜索系统时，我们经常面临“非对称搜索”场景：查询向量（Query Vector）通常保持高精度（浮点型），而数据库中的索引向量（Database Vector）为了节省存储和提高I/O效率，会使用量化压缩技术（如Product Quantization, PQ）。
Faiss的IndexIVFPQ（Inverted File + Product Quantization）是解决这一问题的黄金组合。它不仅通过PQ实现数据压缩，还通过IVF结构（倒排索引）极大地裁剪了搜索空间，从而显著提高了查询速度并优化了内存访问的局部性特征。
1. IndexIVFPQ的工作原理与性能优势
1. 内存局部性优化：
标准的暴力搜索（IndexFlatL2）需要遍历所有数据库向量，这意味着需要将整个数据集加载到内存中，导致大量的随机内存访问。IndexIVF结构首先通过查询向量与nlist个聚类中心（Centroids）的距离，快速确定最相关的nprobe个倒排列表（Inverted Lists）。后续的搜索仅发生在这些选定的列表内部。这大大减少了需要加载到CPU缓存和处理的向量数据量，提高了内存访问的局部性。
2. 查询效率提升：
在选定的列表中，PQ技术允许我们使用高效的距离查表法（Distance Look-up Table, LUT）。因为PQ是天然的非对称距离计算方法，Faiss可以在查询时动态生成一个小的查询特定LUT，然后通过查找而不是执行完整的浮点计算来获取距离，进一步加速了搜索。
2. 实操：使用IndexIVFPQ实现与性能调优
我们将使用一个128维（D=128）的向量数据集，使用IndexIVFPQ进行索引和搜索。
环境准备
import faiss
import numpy as np
import time
# 设定参数
d = 128 # 向量维度
nb = 200000 # 数据库向量数量 (200k)
nlist = 1024 # IVF聚类中心数量
M = 16 # PQ分段数量 (16 segments)
bits = 8 # 每个分段的比特数 (8 bits per segment)
n_training = 50000 # 训练集大小
# 随机生成数据
np.random.seed(1234)
xb = np.random.random((nb, d)).astype('float32')
xq = np.random.random((10, d)).astype('float32') # 10个查询向量
xt = xb[:n_training] # 训练数据
建立和训练索引
IndexIVFPQ需要进行训练，以学习IVF的聚类中心和PQ的编码器。
print("1. 建立索引")
quantizer = faiss.IndexFlatL2(d) # 用于IVF的量化器
index = faiss.IndexIVFPQ(quantizer, d, nlist, M, bits)
# 必须开启train_on_storage，使得IVF中心使用PQ压缩
# 尽管这会带来微小的性能损失，但可以显著减少内存开销
# index.train_on_storage = False # 保持默认，使用全精度IVF中心以获得最佳召回
if not index.is_trained:
print("2. 训练索引...")
start_time = time.time()
index.train(xt)
print(f"训练完成，耗时: {time.time() - start_time:.2f}s")
print("3. 添加向量...")
index.add(xb)
print(f"索引大小: {index.ntotal}")
性能调优：nprobe
优化查询性能和内存局部性的核心参数是index.nprobe。它决定了搜索时需要检查多少个倒排列表。nprobe越大，召回率越高，但需要加载和处理的数据越多，查询速度越慢，内存局部性越差。
k = 10 # 搜索Top K
# 场景1: 优化速度和局部性 (nprobe=32)
index.nprobe = 32
start_time = time.time()
D, I = index.search(xq, k)
end_time = time.time()
print(f"\n--- 场景1: nprobe={index.nprobe} (高速模式) ---")
print(f"查询耗时: {(end_time - start_time) / xq.shape[0] * 1000:.2f} ms/查询")
print("结果示例 (I[0]):", I[0])
# 场景2: 优化召回率 (nprobe=128)
# 需要加载更多列表，内存局部性下降，但召回率提高
index.nprobe = 128
start_time = time.time()
D, I = index.search(xq, k)
end_time = time.time()
print(f"\n--- 场景2: nprobe={index.nprobe} (高召回模式) ---")
print(f"查询耗时: {(end_time - start_time) / xq.shape[0] * 1000:.2f} ms/查询")
# 场景3: 极端速度优化 (nprobe=1)
index.nprobe = 1
start_time = time.time()
D, I = index.search(xq, k)
end_time = time.time()
print(f"\n--- 场景3: nprobe={index.nprobe} (极端局部性/速度模式) ---")
print(f"查询耗时: {(end_time - start_time) / xq.shape[0] * 1000:.2f} ms/查询")
3. 总结
对于非对称搜索场景，IndexIVFPQ是Faiss中最常用的高性能索引结构。它通过倒排列表（IVF）将搜索限制在数据子集上，实现内存访问局部性；同时利用PQ的查表法实现高效距离计算。通过调整nprobe参数，工程师可以精确地在查询速度、内存局部性和搜索召回率之间找到最佳平衡点。