人工智能和大数据

2026-08-02andy阅读(53)

Vald 是什么：云原生时代的向量搜索基础设施 在大模型和 RAG 应用爆发式增长的今天，向量搜索已经成为 AI 基础设施中不可或缺的一环。从 Milvus、Qdrant 到 Weaviate，市面上已有不少向量数据库方案。然而，这些方案在...

2026-08-01andy阅读(49)

引言：Prefill 阶段的”独木桥”困境 在大模型推理的工程实践中，我们常常遇到这样一个矛盾场景：当请求队列中有一个长文本（比如 32K tokens 的法律文档）正在进行 Prefill 处理时，后面排队等候的短...

2026-08-01andy阅读(55)

什么是投机解码：从思想实验到工程实践 大语言模型（LLM）的推理瓶颈在哪里？如果你回答”计算量”，那只对了一半。在实际部署中，真正制约吞吐量的往往是内存带宽而非算力——每次生成一个 token，模型都需要将全部权重从...

2026-08-01andy阅读(46)

为什么大模型需要结构化输出？ 在实际的AI工程落地中，开发者最头疼的问题之一就是大模型的输出不可控。你期望模型返回一个JSON对象，它却给你一段带Markdown格式的自然语言；你需要一个严格的枚举值，模型却自作主张地”创意发挥...

2026-07-31andy阅读(54)

在大规模数据处理场景中，Spark 集群的资源利用率一直是工程师们关注的核心问题。传统的静态资源分配模式下，每个 Executor 从作业启动到结束都占用固定资源，即使处于空闲状态也无法释放，导致大量资源浪费。Spark 动态资源分配（Dy...

2026-07-29andy阅读(55)

在机器学习模型越来越多地被应用于医疗诊断、金融风控、司法判决等高风险场景的今天，模型的可解释性已经从一个「加分项」变成了「必选项」。一个准确率高达99%的模型，如果无法解释其决策逻辑，就很难获得业务方的信任，更无法满足监管合规的要求。本文将...

2026-07-28andy阅读(62)

线性代数是科学计算的基石，无论是机器学习中的参数求解、信号处理中的频域变换，还是物理仿真中的偏微分方程离散化，都离不开矩阵运算。Python 生态中，NumPy 和 SciPy 提供了从基础矩阵操作到高级分解算法的完整工具链。本文将系统讲解...

2026-07-28andy阅读(88)

TensorFlow 2.x 默认采用即刻执行（Eager Execution）模式，让开发者可以像写普通 Python 代码一样调试和运行模型。然而，即刻执行虽然方便调试，却在性能上存在明显瓶颈——每次运算都需要 Python 运行时与 ...

2026-07-28andy阅读(82)

为什么需要磁盘向量检索 在向量搜索领域，内存容量始终是制约系统规模的瓶颈。以常见的 768 维 float32 向量为例，十亿条向量的原始数据量约为 110^9 × 768 × 4 bytes ≈ 2.88 TB 。即便采用 PQ 量化将维...

2026-07-27andy阅读(52)

引言：为什么 Batching 策略决定了推理服务的天花板 在大模型推理服务的工程实践中，有一个经常被低估却至关重要的设计决策：如何将并发的用户请求组织成批次（Batch）送入 GPU 执行。这个看似简单的调度问题，实际上直接决定了服务的吞...