模型窃取攻击（Model Extraction Attack）是指攻击者通过向目标机器学习模型发送精心设计的查询输入，并根据模型的预测输出推断其内部参数或架构，从而复制或重建一个功能相似的模型的过程。这种攻击旨在窃取模型的商业机密和知识产权，威胁模型所有者的竞争优势，并可能被用于恶意目的，如绕过安全机制或生成对抗性样本。
在AI产品开发实践中，产品经理需高度重视模型窃取攻击的风险，特别是在部署模型作为API服务或开放查询接口时。通过实施防护措施如限制查询频率、添加输出噪声或采用模型水印技术，能有效降低攻击成功率。随着AI应用的普及，相关防御策略如基于差分隐私的扰动和对抗性训练正不断发展。延伸阅读推荐论文《Stealing Machine Learning Models via Prediction APIs》（Florian Tramèr et al., USENIX Security Symposium 2016），该研究系统分析了攻击机制和防御方案。
免费模拟面试：试试能否通过大厂“AI产品经理”面试？