猎云网注：AI视觉识别也会犯错？AI在识别物体上往往会过度依赖颜色，纹理和背景线索来识别它所看到的东西。研究者们创建了大约7500个自然对抗性实例”的数据集。并根据这些数据测试了许多机器视觉系统，发现它们的准确率下降了90％，软件在某些情况下只能正确的识别出2％或3％的图像。AI视觉识别这次在“对抗图像”上真正做到了一个不折不扣的“瞎子”。文章来源：AI星球（ai_xingqiu），作者：奇点
一个爬满臭虫的枯叶，对AI来说，它就像“沙滩上的沉船”。
再或是一个鳞次栉比的玉米堆，在AI的算法里，它则是堆积成山的“瓢虫”。
在计算机视觉领域，我们常把AI识别有误的图片叫做“对抗性图像”。简单来说，所谓的“对抗图像”其实是计算机眼中的错觉（即计算机的光学错觉）。
所以，当我们看到树上有只猫时，人工智能或许会认为，那是一只松鼠。
在对抗中不断提高自身本领
这神秘的“对抗性图像”到底是什么？
对于“对抗性图像”的根源，还得从其背后的生成对抗网络（英语：Generative Adversarial Network，简称GAN）说起。
人工智能的识别依赖的是海量的数据样本，比如要给它“喂养”数以百万计的猫类图片，它才学会“辨认”猫类，而当猫换一个姿势，和一般的形态有所不同时，机器就难以识别了。
可对于那些本来就缺乏海量样本的事物，机器就麻烦了，由于无法“灌输”更多的样本，所以阻碍了它的进一步发展，特别是朝着想象力、创造力这种更高层次的能力的进阶。
于是，一位名叫伊恩·古德费洛的美国人在2014年加拿大蒙特利尔读博士的时候想了这样一个方案。也就是说，在两个神经网络中进行“猫鼠游戏”，一个不断地“造假”，一个不断“验真”，彼此相互追逐，在对抗中不断提高自身的本领。
如何让两个神经网络相互博弈呢？尽管备受质疑，但是古德费洛还是决定试一试。
他让一个叫做生成器的网络（Generator Network）不断捕捉训练库中的数据，从而产生新的样本；另一个叫做判别器网络（Discriminator Network），它也根据相关数据，去判别生成器提供的数据到底是不是足够真实。
说白了，就是用生成器来生成图像，企图骗过判别器；而判别器的目的是要找出生成器的做的“假数据”。
一边，负责“造假”的“生成网络”要从过往“看”过的图片里寻找规律，甚至发挥想象力和创造力以生成新的图片；另一边，负责“验真”的“判别网络”则要根据从前的“经验”，来判断图片是真实事物，还是实际根本就不存在的“赝品”。
当然啦，“造假”的一方并非一开始就知道如何避开“验真”搜查，而是随着机器学习的不断深入和反复练习，以及对事物理解的加强，才能最终达到“以假乱真”的效果。
而这种看似有趣的方法事实上早就出现在了中外文学作品中。比如在金庸的武侠小说《射雕英雄传》里，王重阳的师弟周伯通被东邪“黄药师”困在桃花岛的地洞里。
为了打发时间，周伯通就用左手与右手打架，自娱自乐。其武功决窍在于要先“左手画圆、右手画方”，分心二用，保证可以同时使出两种武功，从而使得武力倍增。
对抗性神经网络的原理是“自己跟自己比赛”，以减少它们对人类的依赖。
正因为GAN网络的机理是“双手互搏、一心两用”，所以，能通过“对练”把自己的功力提升一个档次。
除了在机器翻译、人脸识别、信息检索等诸多方向的具体应用，这套对抗性的思想还有助于改进现有人工智能算法。比如：可通过GAN来生成全新图像，其在真实度和准确度上甚至超过了人工作业。
“对抗性图像”被干扰后将带来风险
“对抗性图像”的学名叫“对抗样本”。所谓“对抗样本”就是将实际样本略加扰动而构造出的合成样本，简单说就是故意对正常的图片进行干扰，比如在图片上多加一个像素点之后，AI识别的结果会大大与预想不同。
对于这种样本来讲，GAN的分类器非常容易将其类别判错，一不小心就成了一条漏网之鱼。
所以，有些“恶意者们”通常会将图像设计成拥有欺骗机器视觉的能力，然后通过各种特殊的样式让AI系统失控，来做一些“疯狂”的事情。
比如，攻击者如果能够利用这种方法控制自动驾驶汽车的AI系统，那么问题就会变的棘手起来；又或者，垃圾邮件发送者可能利用对抗样本来骗过垃圾邮件识别系统，而且当下依赖人脸验证的人脸支付等新潮科技也将会面临巨大的风险。
比如2017年，谷歌的AI系统曾被“对抗图像”蒙蔽了双眼，出自麻省理工Labsix实验室研发人员手笔下的一只3D打印海龟，被谷歌的AI视觉识别系统识别成一把“来福枪”。
据悉，此团队成立就是为了训练“对抗图像”，打造一种专门创造出来戏耍AI的图片，该团队成员会在图片中仔细添加一些视觉噪声，这样AI在识别时用到的记号就会被搅乱，所以会做出完全错误的片段。
这也表明，AI在识别物体上往往会过度依赖颜色，纹理和背景线索来识别它所看到的东西。也就是说，考虑到图像的整体形状和内容时，AI所用的算法并不是整体来看图像，而是专注于特定的纹理和细节。
比如有更好的例子能证明这一点，在下面的图像中，AI错误地将左侧图片作为钉子，可能是因为是木制背景。在右边的图像中，它们专注于蜂鸟饲养器，但却忽略了没有蜂鸟存在的事实。
实际上，这些发生在AI上的“视觉错误”，除了专门的“戏耍行为”之外，有人会猜测是否有可能是AI自发的行为，若真如此，这类图像更令人担忧了，因为这表明视觉系统可以产生非受迫性错误——主动失误。
为了证明这一点，近日，来自加州大学伯克利分校、华盛顿大学和芝加哥大学的一组研究人员做了一个研究。
他们创建了大约7500个自然对抗性实例”的数据集。并根据这些数据测试了许多机器视觉系统，发现它们的准确率下降了90％，软件在某些情况下只能正确的识别出2％或3％的图像。
通过大量的事实证明，AI视觉识别这次在“对抗图像”上是个不折不扣的“瞎子”。
据外媒表示：虽然研究人员说这些这些“自然对抗性的图像”会愚弄各种各样的视觉系统，但这并不意味着他们会欺骗过所有的系统。
不能说不存在“对抗样本”，只要有机器视觉的存在就必定存在对抗样本，而机器视觉识别在GAN的基础上，瑕疵很快便会消除，盲点也终会被填补，AI在“对抗性图像”上的自我救赎也还会有所改观。
