标签：知识蒸馏

2026-09-04andy阅读(46)

引言：为什么需要学习型稀疏检索 在向量搜索领域，稠密检索（Dense Retrieval）和稀疏检索（Sparse Retrieval）长期以来被视为两条平行赛道。稠密模型如 SBERT、DPR 通过将文本映射到连续向量空间实现语义匹配，但...

2026-09-03andy阅读(31)

知识蒸馏的前世今生：为什么我们需要让小模型”拜师学艺” 在深度学习的工程实践中，我们常常面临一个核心矛盾：大模型精度高但部署代价大，小模型速度快但性能受限。知识蒸馏（Knowledge Distillation）正是...

2026-08-21andy阅读(76)

什么是知识蒸馏？核心概念与动机 知识蒸馏（Knowledge Distillation）是模型压缩领域最经典且最实用的技术之一，由Geoffrey Hinton等人在2015年的论文“Distilling the Knowled...

2026-07-08andy阅读(191)

引言：为什么需要模型优化？ 在深度学习模型落地到生产环境的过程中，一个常见的困境是：模型在GPU服务器上跑得飞快、精度出色，但一旦需要部署到移动设备、边缘计算节点或者高并发API服务中，就会发现推理速度跟不上、内存占用过高。这个问题的本质在...