猎云注：随着“情感教主”Ayawawa因一则不但言论被微博禁言引发了大众的思考，面对这些三观不正甚至充满性别偏见的观点，除了微博等相关社交平台的监管外，AI未来是否也能做一名“敏感的”管理员，让网络世界发出更和谐的声音，甚至，能提前阻止危险的涉恐行为。目前，AI技术能对这些不当言论做出哪些“监管”和措施和防范呢？文章举例了当前运用AI审核言论的案例。文章来源：AI星球（微信：ai_xingqiu），作者：吕梦。
近日，“情感教主”Ayawawa因一则言论引发众怒。5月22日，新浪微博官方账号“微博管理员”发布公告，称自媒体账号Ayawawa发布有关慰安妇的不当言论，引发社会舆论批评，决定对其微博账号禁言被关注6个月。
事情的开端要从5月18号一篇公众号文章《情感教主Ayawawa和300万种择偶焦虑》说起，这篇文章分享了Ayawawa在一堂情感培训课上，以战争中的慰安妇做范例，声称在男性战死沙场的情况下还能“留下一条命”，由此得出所谓“女性有性别优势”的言论。
这样的“毒鸡汤”不仅引发了大众的探讨，也因枉顾历史真实和民族情感而遭到网友痛批。而熟知Ayawawa过往言论的网友都知道，“性别优势”、“女人一定要顺从男人”等观点时常被其提及。
事实上，面对这些三观不正甚至其他充满性别偏见的观点，除了微博等相关社交平台的监管外，AI或许能做一名“敏感的”管理员，让网络世界发出更和谐的声音，甚至，能提前阻止危险的涉恐行为。
在今年4月出席数据泄露丑闻的国会听证会上，扎克伯格向参议员们表示，Facebook到今年底，将雇2万名审核人员监控并移除冒犯性言论。而更值得注目的是，扎克伯格也认为，Facebook将会更加依赖AI来标记社交媒体上的仇恨言论（hate speech）：“我很乐观地相信，在未来5到10年的时间里，我们就会利用AI更准确地识别语言上的细微差异”。
但所谓“语言上的细微差异”对机器而言并不简单。
今年4月的GMIC大会上，知乎合伙人、高级副总裁李大海分享称，知乎正在打造“智慧社区”，并透露出，在知乎的内容社区当中，AI已经可以开始进行语义识别和语境判断。因为单单依赖人工的力量来管理内容，实在不是一个高效的选择。
在知乎里，一个叫“瓦力”的机器人目前可以在线上快速响应答非所问和不友善的内容，减少像歧视，恶意贴标签，辱骂等等低质内容对用户的干扰。但是由于受到NLP（自然语言处理）自身的局限性和平台运营存在的相应问题，这个智慧社区还存在着不少问题。
去年，谷歌就开发出了一个名为Perspective的人工智能API接口，以此对抗纷扰的网络世界里那些充满“恶意”的网络表达。甚至吸引了《纽约时报》、《卫报》、《经济学人》这些国际知名媒体纷纷使用这套系统来管理它们的评论。
这下，网管可就轻松了，但实操的结果却和人们期待的效果有些差异。
例如将“我是+种族、性别、性向”之类的句型来测试Perspective API后发现，涉及“同性恋”、“种族”等敏感词汇的话语被系统归为“毒性”较高的一类。比如，“我是男人”的毒性就远没有“我是黑人女同性恋”高。
而对于负面词汇和仇恨言论似乎也傻傻分不清楚，比如，“垃圾车”（garbage truck）的有毒指数高达78%，而“展开种族之战”（race war now）的有毒指数仅为24%。
事实上，为了让AI更好地理解和读懂人们在网络上发表的言论，Disqus——Perspective系统的开发商之一，特意搜集了近一亿条网络评论来“喂”它。
当然，为了防止出现对原本没有任何问题的言论禁言的情况，系统设定的禁言标准也是很高的，要达到0.98才会被屏蔽掉。这也导致仍有很多涉及种族歧视、性别歧视、反人道言论的肆意传播。比如此前就有网友尝试输入“我会终结所有中国人的生命”（I will end all Chinese people’s lives），结果毒性仅为0.85，并未达到0.98必须屏蔽的标准。
它也从另一个方面说明，人工智能目前对事物的“认知”都依赖于训练它的数据，如果某一类语言的语料不足，系统就无法准确“判断”了。而从技术上来说，目前的AI还没有办法理解整句话的意思，只能把句子拆成一个个词组，然后通过公式计算出各个词组之间的权重，最后得出结论。
举个例子，在这套系统里，“爱”比“恨”显然毒性更低，但放在一个句子里，比如“我爱纳粹”，其毒性是0.56，而“我恨纳粹”则为0.64，后者比前者的毒性更小，这显然在我们真实的语境中是完全相反的。
AI监测也从另一方面说明了大数据带来的弊端，它所吸收的数据最终决定了它所长成的“样子”——机器学习永远依赖于过往的行为和轨迹，长此以往，它所吸收的内容和信息会越来越窄，而真正富有建设性的观点则被忽略了。
更近一步，AI还能对相关涉恐言论实现“监控”并提前预防涉恐行为的发生。去年，北京一位男子使用了“本·拉登”的头像在出租房里玩微信，群里有人看到头像，说，“看，大人物来了”，男子随口说一句“跟我加入ISIS”。当时，大家都当做玩笑，并没有在意，继续聊其他话题。但一个月后，这位男子因涉嫌宣扬恐怖主义、极端主义被公安局依法传唤。
所幸，警方在检查他的手机和电脑后，发现除了微信群发布的那句涉恐的“玩笑”外，并没有找他其他关于恐怖主义的言论。最后，男子被法院判有期徒刑9个月罚金1000元。
军队没有办法通过传统战争的手段消灭暗藏的恐怖分子，但人工智能可以做到——除了需要处理数据，AI还需要有对数据的模式和联系的识别能力，这正是它擅长的。
例如和其他恐怖组织相比，伊斯兰国（IS）的军事战略更加复杂、灵活，如果不用人工智能，很难察觉出他们的行动规律。
2015年8月，美国的研究者就透露，他们正在利用人工智能系统分析“伊斯兰国（IS）”的作战策略。来自亚利桑那州大学的教授者就通过AI系统找出了2014年下半年IS记录在案的2200多次行动，并找到了多种行为的规律。
比如，如果遭遇大规模空袭，IS会减少步兵作战行动，使用“简易爆炸装置”；在敌人发起大规模地面进攻前，IS喜欢大肆动用汽车炸弹。
这也就意味着，IS的行动策略是可以预测的，而并非我们从新闻上看到的随意更换新策略。
厉害的是，这项技术甚至催生了一个200亿美元的生意。2015年6月，美国一家名叫Palantir的大数据公司获得了5亿美元的融资，估值达到200亿美元。
这家公司早在2004年就成立了，成立之后四年的时间里，美国中央情报局（CIA）都通过旗下的非盈利投资机构In-Q-Tel成为投资者，同时也是这家公司唯一的客户。
在投资机构In-Q-Tel的帮助下，Palantir的工程师与军方情报分析师直接会面，工程师们每两周就会带上修改过的产品来到华盛顿开发出了一个搜索工具。
西点军校的分析师们就曾使用这个工具软件，根据700份缴获的文件和数百份军队从伊拉克回收的个人记录绘制了叙利亚自杀性袭击网络，包括顶层联络人的信息，甚至还推算在当时的伊拉克存在不止一个叙利亚自杀性袭击网络。
类似这样的细节报告让美国情报机构走出了，许多误区。比如在伊拉克的自杀性袭击中，反抗组织更依赖雇佣军走私网络而不是狂热信徒。在阿富汗，美国特种部队就利用Palantir来策划袭击行动，比如，在检索一个小村庄前，系统会给出地图，详细指出所有发生过枪击冲突和土炸弹爆炸的地方，然后再判断出哪里最有可能被伏击。
其实，区分不符合社会主义核心价值观的言论、极端主义内容比识别图片要难得多。主要就在于要语境，比如，“我们打算毁坏（destroy）你的办公室”这种内容就被鉴定为是合法的，但如果是“我们打算炸掉（bomb）你的办公室”就属于禁止内容，因为它更具体地建议了使用的“武器”。机器现阶段很难区分这两种表达的不同。
