标签：蒸馏

2026-02-27andy阅读(65)评论(0)

如何利用知识蒸馏（Knowledge Distillation）将大模型高效压缩并优化边缘侧部署 在生成式AI与大规模预训练模型（LLM）爆发的时代，模型参数量动辄百亿级，这为生产环境的部署带来了巨大挑战，尤其是资源受限的边缘计算场景。知识...

2026-02-07andy阅读(92)评论(0)

知识蒸馏（Knowledge Distillation, KD）是一种模型压缩技术，通过训练一个轻量级的学生模型去模仿一个性能强大的教师模型（Teacher Model）的输出。在大模型（LLM）时代，KD的焦点已经从单纯的“模仿输出概率”...

2025-12-13andy阅读(220)评论(0)

深入理解防御蒸馏（Defensive Distillation） 防御蒸馏（Defensive Distillation, DD）是一种旨在提高深度学习模型对对抗性攻击（Adversarial Attacks）鲁棒性的技术。它由Papern...