人工智能和大数据

2026-08-07andy阅读(49)

引言：长上下文为什么是大模型落地的关键瓶颈 2024年以来，主流大模型的上下文窗口从4K、8K快速扩展到128K、256K甚至百万级Token。GPT-4 Turbo支持128K，Claude 3支持200K，Gemini 1.5 Pro更...

2026-08-06andy阅读(49)

引言：Spark 三大数据抽象的前世今生 Apache Spark 自诞生以来，其核心数据抽象经历了从 RDD 到 DataFrame 再到 Dataset 的演进。每次演进都不是简单的 API 更新，而是编程模型、执行引擎和优化体系的根本...

2026-08-05andy阅读(62)

在实际的机器学习项目中，类别不平衡（Class Imbalance）是最常见也最容易被忽视的问题之一。无论是欺诈检测、疾病诊断还是故障预警，正例往往只占样本的极小比例。如果直接用常规算法训练，模型往往会倾向于将所有样本都预测为多数类，虽然在...

2026-08-04andy阅读(58)

傅里叶变换是科学计算与信号处理领域最核心的数学工具之一。它将时域信号分解为不同频率的正弦波叠加，使我们能够在频域中分析、处理和重构信号。在Python生态中，NumPy和SciPy提供了完整而高效的傅里叶变换实现，从基本的FFT到高级的滤波...

2026-08-03andy阅读(63)

在深度学习的实际工程中，变长序列处理一直是一个令人头疼的问题。无论是 NLP 中的不定长文本、语音识别中的变长音频帧，还是时间序列预测中的不规则采样，都需要我们在计算图中优雅地处理动态形状。TensorFlow 2.x 虽然以 Eager ...

2026-08-02andy阅读(77)

Vald 是什么：云原生时代的向量搜索基础设施 在大模型和 RAG 应用爆发式增长的今天，向量搜索已经成为 AI 基础设施中不可或缺的一环。从 Milvus、Qdrant 到 Weaviate，市面上已有不少向量数据库方案。然而，这些方案在...

2026-08-01andy阅读(73)

引言：Prefill 阶段的”独木桥”困境 在大模型推理的工程实践中，我们常常遇到这样一个矛盾场景：当请求队列中有一个长文本（比如 32K tokens 的法律文档）正在进行 Prefill 处理时，后面排队等候的短...

2026-08-01andy阅读(84)

什么是投机解码：从思想实验到工程实践 大语言模型（LLM）的推理瓶颈在哪里？如果你回答”计算量”，那只对了一半。在实际部署中，真正制约吞吐量的往往是内存带宽而非算力——每次生成一个 token，模型都需要将全部权重从...

2026-08-01andy阅读(63)

为什么大模型需要结构化输出？ 在实际的AI工程落地中，开发者最头疼的问题之一就是大模型的输出不可控。你期望模型返回一个JSON对象，它却给你一段带Markdown格式的自然语言；你需要一个严格的枚举值，模型却自作主张地”创意发挥...

2026-07-31andy阅读(76)

在大规模数据处理场景中，Spark 集群的资源利用率一直是工程师们关注的核心问题。传统的静态资源分配模式下，每个 Executor 从作业启动到结束都占用固定资源，即使处于空闲状态也无法释放，导致大量资源浪费。Spark 动态资源分配（Dy...