人工智能和大数据

2026-08-05andy阅读(225)

在实际的机器学习项目中，类别不平衡（Class Imbalance）是最常见也最容易被忽视的问题之一。无论是欺诈检测、疾病诊断还是故障预警，正例往往只占样本的极小比例。如果直接用常规算法训练，模型往往会倾向于将所有样本都预测为多数类，虽然在...

2026-08-04andy阅读(217)

傅里叶变换是科学计算与信号处理领域最核心的数学工具之一。它将时域信号分解为不同频率的正弦波叠加，使我们能够在频域中分析、处理和重构信号。在Python生态中，NumPy和SciPy提供了完整而高效的傅里叶变换实现，从基本的FFT到高级的滤波...

2026-08-03andy阅读(249)

在深度学习的实际工程中，变长序列处理一直是一个令人头疼的问题。无论是 NLP 中的不定长文本、语音识别中的变长音频帧，还是时间序列预测中的不规则采样，都需要我们在计算图中优雅地处理动态形状。TensorFlow 2.x 虽然以 Eager ...

2026-08-02andy阅读(261)

Vald 是什么：云原生时代的向量搜索基础设施 在大模型和 RAG 应用爆发式增长的今天，向量搜索已经成为 AI 基础设施中不可或缺的一环。从 Milvus、Qdrant 到 Weaviate，市面上已有不少向量数据库方案。然而，这些方案在...

2026-08-01andy阅读(254)

引言：Prefill 阶段的”独木桥”困境 在大模型推理的工程实践中，我们常常遇到这样一个矛盾场景：当请求队列中有一个长文本（比如 32K tokens 的法律文档）正在进行 Prefill 处理时，后面排队等候的短...

2026-08-01andy阅读(258)

什么是投机解码：从思想实验到工程实践 大语言模型（LLM）的推理瓶颈在哪里？如果你回答”计算量”，那只对了一半。在实际部署中，真正制约吞吐量的往往是内存带宽而非算力——每次生成一个 token，模型都需要将全部权重从...

2026-08-01andy阅读(232)

为什么大模型需要结构化输出？ 在实际的AI工程落地中，开发者最头疼的问题之一就是大模型的输出不可控。你期望模型返回一个JSON对象，它却给你一段带Markdown格式的自然语言；你需要一个严格的枚举值，模型却自作主张地”创意发挥...

2026-07-31andy阅读(232)

在大规模数据处理场景中，Spark 集群的资源利用率一直是工程师们关注的核心问题。传统的静态资源分配模式下，每个 Executor 从作业启动到结束都占用固定资源，即使处于空闲状态也无法释放，导致大量资源浪费。Spark 动态资源分配（Dy...

2026-07-29andy阅读(217)

在机器学习模型越来越多地被应用于医疗诊断、金融风控、司法判决等高风险场景的今天，模型的可解释性已经从一个「加分项」变成了「必选项」。一个准确率高达99%的模型，如果无法解释其决策逻辑，就很难获得业务方的信任，更无法满足监管合规的要求。本文将...

2026-07-28andy阅读(266)

线性代数是科学计算的基石，无论是机器学习中的参数求解、信号处理中的频域变换，还是物理仿真中的偏微分方程离散化，都离不开矩阵运算。Python 生态中，NumPy 和 SciPy 提供了从基础矩阵操作到高级分解算法的完整工具链。本文将系统讲解...