人工智能和大数据

2026-01-28andy阅读(54)评论(0)

如何利用 Doc Values 磁盘列式存储提升 Elasticsearch 聚合性能 在Elasticsearch中，数据检索主要依赖倒排索引（Inverted Index）。然而，倒排索引是为快速搜索文档而优化的（即“哪些文档包含这个词...

2026-01-28andy阅读(60)评论(0)

在 PyTorch 中，当内置操作无法满足性能或功能需求时，我们需要自定义高性能的 C++/CUDA 算子。要让 PyTorch 的自动求导机制（Autograd）识别并正确计算这些自定义算子的梯度，我们必须使用 torch.autogra...

2026-01-28andy阅读(50)评论(0)

在AI模型被广泛应用于信贷审批、招聘推荐和医疗诊断等高风险场景时，模型决策的“黑箱”特性以及潜在的公平性偏差（Bias）成为了部署中不可回避的挑战。为了提升用户信任和满足监管要求，我们必须将公平性监控结果以用户友好的方式呈现。 本文将聚焦于...

2026-01-28andy阅读(51)评论(0)

高维向量搜索是现代推荐系统、图像识别和自然语言处理的核心技术。当数据集达到百万甚至数十亿级别时，线性搜索（暴力搜索）变得不可接受。HNSW（Hierarchical Navigable Small World，层级可导航小世界）是目前最流行...

2026-01-28andy阅读(56)评论(0)

在 PyTorch 的模型训练和推理过程中，为了节省内存或提高计算效率，我们经常会用到原地操作（Inplace Operations），例如使用 add_()、mul_() 而不是标准的 + 或 *****。然而，在涉及到梯度计算（即 re...

2026-01-28andy阅读(59)评论(0)

在 PyTorch 中，我们通常使用 torch.no_grad() 来关闭梯度追踪，以加速推理过程或节省内存。但如果我们需要在复杂的训练流程中，根据特定的条件（例如，在执行一个嵌入式评估函数时）动态地、有条件地控制梯度，标准的上下文管理器...

2026-01-28andy阅读(59)评论(0)

在 PyTorch 的模型推理阶段，我们通常需要禁用梯度计算，以节省内存和提高运行速度。最常用的方法是使用上下文管理器 torch.no_grad()。然而，PyTorch 1.9 版本引入了一个更强大的替代品：torch.inferenc...

2026-01-28andy阅读(52)评论(0)

深入理解LLM中的文化偏见 随着大型语言模型（LLM）在全球范围内部署，其内在的文化偏见和刻板印象成为了一个关键的伦理和基础设施挑战。这些偏见往往源于训练数据的不均衡，并在特定文化背景下表现得尤为明显。对于负责全球化部署的AI基础设施工程师...

2026-01-27andy阅读(50)评论(0)

深度解析 Lucene 评分机制：从传统 TF-IDF 到现代 BM25 的演进 Lucene（以及基于它的Elasticsearch和Solr）是现代搜索技术的核心。理解它如何对文档进行评分（即计算相关性）是优化搜索结果的关键。虽然传统的...

2026-01-27andy阅读(44)评论(0)

导语 在使用 PyTorch 进行深度学习模型开发时，我们经常会遇到一个棘手的 RuntimeError，提示我们不能对一个需要梯度的非叶子张量（non-leaf Tensor）进行原地（in-place）修改。这背后涉及到 PyTorch...