防御性蒸馏（Defensive Distillation）是一种针对深度学习模型的对抗防御技术，旨在增强模型对对抗样本的鲁棒性。其核心原理是通过知识蒸馏（Knowledge Distillation）过程实现：首先训练一个大型教师模型在原始数据集上，然后利用该教师模型生成的软标签（soft labels，即概率分布输出而非硬性类别标签）作为目标，训练一个更精简的学生模型。这一方法使学生模型的决策边界更加平滑，从而降低对输入微小扰动的敏感性，有效减少对抗攻击的成功率。防御性蒸馏源于对抗样本研究的背景，对抗样本是恶意设计的输入数据，能误导模型产生错误预测，而该技术提供了一种轻量级防御机制。
在AI产品开发的实际落地中，防御性蒸馏可应用于安全关键场景，如自动驾驶系统中的目标识别、金融风控中的欺诈检测或医疗AI的诊断支持。通过提升模型鲁棒性，它能降低恶意攻击风险，增强产品可靠性和用户信任。然而，随着对抗攻击技术的不断演进，防御性蒸馏的长期有效性受到挑战，开发者常需结合对抗训练（Adversarial Training）等策略构建多层防御体系。延伸阅读推荐参考原始论文：Papernot et al. (2016), 「Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks」。
免费模拟面试：试试能否通过大厂“AI产品经理”面试？