• 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 新华三人才研学中心
  • 关于我们
docurl=/cn/Service/Policy_Trends/Service_News/202011/1577503_30005_0.htm

智能化技术及应用 | 小心对抗样本攻击,别让你的AI应用被钻了空子

【发布时间:2020-10-30】

当有人宣称自动驾驶系统已解放了人们双手之后,你真的敢来一场说走就走的自动驾驶之旅吗?2019年,腾讯科恩实验室曾对某热门车型所搭载自动驾驶系统(2018年的某个版本)进行安全性测试,发现其在图像识别方面,存在被攻击的安全隐患。实验中大多数情况下,自动驾驶系统都能正常识别交通标志、标线,但如果在路面涂刷不起眼的干扰信息,车辆则会根据看到的图像,做出错误决策,驶入反向车道,危险性不言而喻。虽然这个实验仅仅暴露出自动驾驶汽车的安全隐患,但实际上随着人工智能应用日趋普及,AI的安全问题正逐渐显露。

AI应用面临安全挑战

当前主流的人工智能应用,多数是基于传统机器学习或深度学习算法开发的,从开发到生产部署,一般有数据采集、数据预处理、模型训练、模型的评估验证、生产部署等几个环节。

AI应用的各环节及攻击点

黑客往往会基于上述环节对人工智能应用进行攻击,如针对数据采集和预处理阶段的攻击、针对AI模型本身、针对模型使用环节的对抗样本攻击等等。其中,在对抗样本攻击中,通过对输入样本进行细微的修改,人眼不易觉察,但却使AI系统产生错误的输出,在一些关键场景中会造成严重问题,而针对各种对抗样本的攻击,已经有了多种防范方法来降低风险。下文将重点针对AI对抗样本攻击与防护的技术展开探讨。

解密AI对抗攻击技术

对抗样本(Adversarial Examples),即通过对输入样本添加一些非随机性的微小扰动,受干扰之后的输入样本经过AI模型运算,会导致模型以高置信度给出了一个错误的输出结果。如下图所示,一张原本是熊猫的图片,在加入了人为设计的微小噪声扰动后,人眼看上去还是熊猫,但AI模型直接将其识别为长臂猿,且可信度高达99.3%。

对抗样本

当然,还有另外一种对抗样本,样本图像是人类无法看懂的,但AI模型却高概率认为是某个类别的事物。如下图所示,AI模型会识别为0-9的数字。

另类对抗样本

另类对抗样本

在对抗样本攻击的分类上,如果从技术维度来看,按照对抗样本的实现方式可分为白盒攻击和黑盒攻击两类。白盒攻击:攻击者完全了解被攻击的AI模型的结构、源码、训练数据集等信息,可以实施更加精确的攻击,难度较低,多用于学术研究。常见的白盒攻击算法如L-BFGS、FGSM、BIM、ILCM、DeepFool等。黑盒攻击:攻击者对AI模型和训练数据集的信息了解得不多或者完全不了解。但利用对抗样本具有跨模型、跨数据集迁移的泛化能力,研究被攻击AI模型的输入/输出信息,设计对抗样本进行攻击,这种方式的实现难度比较大。

如果从攻击目标输出结果的维度来看,则可分为:非针对性攻击(non-target attack):让AI模型输出结果出错即可。针对性攻击(targeted attack):不仅让模型输出结果错误,而且还要让其输出结果按照攻击者预定的结果来输出。

在了解对抗样本攻击及分类后,对抗样本攻击实际还表现出以下4类特征:

1、不止是深度学习所特有,传统的一些机器学习算法如SVM(支持向量机)、决策树等算法,也会存在此问题。

2、针对物理世界的攻击:前面提到的对抗样本图像,都是在数字世界中进行的,其实有些对抗样本已可针对物理世界进行攻击。如利用对抗样本技术设计体恤衫,表面印有特殊图案,穿戴者可躲避AI目标检测系统,使其无法检测出人体。

3、音频和文本识别也存在对抗样本:如在进行语音识别过程中,如果此时背景音乐是经过精心设计的,那么就有可能使识别结果错误,甚至按照攻击者的意图来输出结果。

语音对抗样本

语音对抗样本

在文本处理任务中,也存在类似问题,在文本段落中,增加一些特殊的词汇或标点,或者在不改变语义情况下调整个别句子,人类不易察觉,但AI模型却无法按照预期输出正确的结果。

4、对抗样本的正面应用:前面说了那么多的对抗样本的负面应用,其实合理的使用该技术,也能产生正向的价值。比如日常生活中经常接触到的验证码机制,采用对抗样本的技术,就可让黑灰产业的AI验证码识别模型的识别率大幅下降。

对抗验证码

对抗攻击的防御方法

对于对抗样本进行分析,尤其是图像样本,经过放大后还是可以观察到一些细微的噪声,导致图像细节有些变化。因此,很自然的想法就是在图像输入到AI模型之前,先进行图像滤波、去噪的预处理,将图像进行一定程度的修复还原,起到一定程度的防御作用。

另外一种思路,就是可以将各种类型的对抗样本增加到AI模型训练数据集中,这样训练出来的模型,先天就对部分AI对抗样本具有免疫功能,一定程度上提高系统的鲁棒性,但对抗样本的生成方法层出不穷,难以收集完备的对抗样本数据集。

还有一些方法是通过修改AI模型的网络结构,达到抵抗攻击的目的,感兴的趣读者可以阅读相关文献。

AI应用安全的问题,直接关系到AI应用在各行业领域的推广,对抗样本攻击是AI安全的一个重要方向,越来越引起学术界和工业界的重视。目前面向AI应用的攻击和防护的研究还处于初级阶段。未来,通过广大科研工作者的努力,相信会厘清对抗攻击方法的背后机理,最终可以形成一种统一高效的防御体系,为AI生态保驾护航。

新华三官网
联系我们