【猎云网（微信号：ilieyun
）】6月22日报道（编译：罗伯特）
编者注：本文作者为James Bridle，外媒科技专栏作家。
卧室里，那个语音操控的小玩意儿（暗指亚马逊Alexa音箱）突然发出一阵阵渗人的笑声，还偷偷地把你与对象间的枕边谈话发送给了你的同事；前一秒，你的孩子还在Youtube上看着小猪佩奇的动画片，下一秒屏幕上的画面就变成了杀戮和流血事件；还有，你曾经用来和老朋友沟通联系的聊天软件，竟然变成了政客们操纵选举和煽动政变的工具。
我们的思维方式产生了异变，这个世界也变得更奇怪了。我们开始相信，世界上的一切都可以计算，我们能通过新的技术来解决任何问题。然而，这些技术并非完全中立：它们反映了我们的政治倾向和偏见，它们超越了国家和法律的管控范围；甚至于，连技术的创造者都开始无法理解自己的发明。最终，我们对这个世界了解得越来越少，因为这些强大的技术正在逐步掌控我们的生活。
新技术不仅能增强我们的能力，还能重塑以及指导这种能力，让我们在科学、政治、教育、战争、商业等领域有所建树。当然，情况有好有坏。如果我们没办法理解复杂技术的确切功能，那么这些技术就会被自私的企业和个人加以滥用。这种例子，在我们身边不胜枚举。我们每天所遇到的不透明制度、歧视事件、暴力、民粹主义等问题都与之存在着因果关系。
我们所身处的，不再是技术光芒所加持的乌托邦世界，而是充满了诡异及不可预见事件的黑暗时代。广泛传播信息的启蒙理想并没有让我们获得更多的相互理解与和平；相反，其似乎正在助长社会分裂、不信任、阴谋论和虚假政治。为了看清事实，我想是时候要了解技术的发展过程，以及我们对其寄予厚望的原因了。
在20世纪50年代，电气工程师所绘制的系统图表里出现了一个新的符号，一个模糊的圆圈。慢慢地，这个圆圈逐渐变成了一朵云的形状。不管工程师的工作内容是什么，他们都可以把其连接到这个云上。还有一个云，它则是一个动力系统，或是数据交换中心，当然也能被称为计算机网络。简单来说，云是一种降低复杂性的做法，让用户能够专心去做手头上的事情。随着时间的推移，网络规模转扩大，互联网程度也逐渐提高，云的重要性也就越发明显。云变为了一个流行语和商业卖点；它跳出了工程师的速记图表，摇身一变，成为了一个象征。
今天，云作为互联网的核心，是一个由强大的能量组成的全球系统。但是，其仍保留着一个神秘的光环 —— 几乎不可能被完全掌控。我们在云里工作，在云里存储和取回东西；我们一直在体验云，却从没真正理解云。云并不是一个只有水和无线电波、让你整日不停工作的遥远秘境。它是一个确切的物理基础设施，囊括了电话线、光纤、卫星、海底电缆，以及计算机仓库。云被应用到许多光鲜亮丽大建筑里，我们在那购物、存取钱、社交……正因为我们被表面的那些浮华生活蒙蔽，所以就不那么注意到背后的云。因为不显眼，所以它也就不容易受到批评、调查，以及监管的影响。
在过去的几十年里，世界各地的交易大厅变得越来越安静，因为人类工作人员已经被自动化的数字交易银行所取代。数字化意味着股票交易所内的交易活动越来越频繁。机器处理交易工作时，它们能够立即做出反应。人们还开发了一种被称为高频交易算法（High-Frequency Trading ，简称HFT）的技术，能够在一天之内处理几百万次交易，甚至能够在每笔交易中赚个一两分钱。
在这种高速的运转的市场中，怪事不断。2010年5月6日，道琼斯指数开盘低于前一天。过了几个小时之后，由于受到希腊债务危机事件的影响，该指数开始缓慢下跌。然后，到了下午2：42分，道琼斯指数开始迅速下跌。在不到5分钟的时间里，股市就被抹掉了600多个点；其最低峰值要比前一天的平均数低了将近1000个点，几乎相当于总市值的10%，而且突破了历史单日跌幅记录。但是，在3：07分的时候，其开始迅速上升。在不到25分钟的时间里，其将近回复了600个点。
在这混乱的25分钟里，价值560亿美元的20亿股票几经易手。更糟糕的是，其中的许多交易订单都被美国证券交易委员会（Securities Exchange Commission，简称SEC）判定为了“不实价格”——要么低至1便士，要么高至10万美元。这起事件后被人们称为“闪电崩盘”，多年后仍被调查讨论。
监管机构的一份报告显示，高频交易技术是导致价格波动异常的原因。许多的HFT项目应用都有这样一个设置：当价格到达特定的数字时，系统会自动卖出股票。所以，一旦股价下跌，那么就会有大批应用被同时触发，大量抛售股票。随后，价格下降时又触发了另一组算法，产生了一个连锁反应，导致更多的股票被抛售。结果，连人类交易员也无法控制局势。
还有人认为，这其实是算法引发的危机。人们发现了这样的一种情况，HFT应用向交易所发送了大量“不可执行”的订单；这些订单因为价格波动太大，以至于被交易所忽视。但是，其真实的目的是为了抬空系统，以便在混乱中执行其他交易。
无独有偶，“闪电崩盘”并不是算法导致的唯一乱局。2016年10月，英国脱欧时，英美汇率也经历了一次快跌闪回。2012年10月，美国股市总交易量中4%的订单被某种算法迅速买入卖出，一名评论人挖苦道：“这些算法的动机真是难以理解。”
2013年4月23日，《美联社》（Associated Press）遭到黑客入侵，发布了一条虚假新闻：“白宫发生两起爆炸，奥巴马重伤”。虽然《美联社》编辑迅速做出了澄清，但是算法还是造成了股市动荡。当日下午1：08分，距离假新闻发布仅相隔1分钟，道琼斯指数下降了150个点，随后又回弹到了之前的水平。在此期间，1360亿美元的股票市场价值蒸发。
2015年，三星推出了一款智能冰箱；其集成了谷歌的日历服务，让用户能够在厨房直接订购杂货。但这也意味着，黑客能够入侵该设备，盗取用户的邮箱密码。德国的研究人员发现，飞利浦的一款彩色灯泡能被恶意代码侵入，影响范围可从单个装置蔓延到整个城市；严重的话，甚至会触发感光性癫痫。这种情况昔日只会出现在小说情节里面；但现如今，物联网已经把这种虚构的梦魇带到了现实之中。
在Kim Stanley Robinson的小说《极光》（Aurora）中，他描述了一艘负责把人类送到恒星上的智能飞船。由于这段旅程耗时过长，这个飞船最大的任务，就是要确保人类还清醒地活着；为此，这艘飞船无所不用其极：其能通过传感器监视各方、随意开关密封舱门、发出造成生理疼痛的噪音，以及用消防设备降低船舱含氧量，等等。
有趣的是，Google Home也提供了许多类似的功能：联网摄像头、智能门锁、智能恒温器、安防警报系统……说实话，只要某个黑客有点能耐，他就能像那艘飞船一样，把住在里面的人类耍得团团转。
在摒弃这种疯狂小说情节之前，我们再来好好思考一下算法在证券交易所的所作所为。这些事件并非个例，而是复杂系统中的日常情况。现在的问题是，这种流氓算法在更广泛的现实中又会是什么样子的呢？
流氓算法，会是病毒吗？2016年10月21日，一个叫做Mirai的病毒软件横空出世。受它影响，大部分的互联网服务遭侵蚀长达数小时。当研究人员深入了解Mirai时，他们发现，这一病毒软件主要针对那些安全性能较差的联网设备（比如安防摄像头，或是电子录像机），并把他们变成一群机器人。仅仅数周，Mirai就感染了50万台设备。
此外，还有2010年的Stuxnet，这是在工业控制系统内发现的另一种病毒。事实上，这个病毒已经达到了军用武器的级别。研究人员分析后发现，Stuxnet专门针对的是西门子离心机。
直到今天，人们仍然没有弄清楚Stuxnet和Mirai的确切来源，以及开发者。但是，它们可能现在就在你办公室的摄像机里，或是你厨房的智能水壶中偷偷繁殖着。
或者说，流氓算法是众人真实的梦魇？2015年夏天，雅典的债务危机繁重，举国动荡。在那儿的一家医院里，医生和护士要比平日里更加繁忙。因为，当时住在里面的人，都是顶尖的政治家和公务员，他们正遭遇着严重的睡眠问题。然而，陪伴这些政要每日入睡的，都是身边的那些医疗机器。这些机器记载着他们的呼吸、行动状况，夜半低语，然后把这些信息一同发送回北欧制造商的数据库里。当然，一同被发送过去的，还有政要们的详细医疗记录。那么，谁又知道会不会有人从中做手脚呢？
如今的时代，我们有各式各样的可穿戴设备。我们天真地认为，自己的身体能够像这些设备一样，被升级、被优化。这些设备记录着我们的位置、心跳，甚至是脑电波。厂商不停地劝说，让我们在睡觉的时候也戴着这些手表、手环，以便记录睡眠数据。那么，这些数据都去哪儿了，它们到底属于谁，什么时候才会被公布？我们清晨的梦境、午夜的恐惧、奔跑时的汗水…那个没有防备下的自我本质，如今变成了系统升级的佐料；而我们自己，却对此一无所知。
或者说，流氓算法无处不在。贫富差距加剧、国家解体、边境军事化、个人自由被削弱、极右翼团队的崛起、自然环境的退化……这些也许不是新技术带来的直接影响；但是，正是因为我们无法正确认识技术增强的复杂性，加速了个人和公司行为的广泛性和网络性，于是才导致了这些后果。
1997年的纽约，世界象棋冠军Garry Kasparov与IBM设计的深蓝（Deep Blue）第二次对弈。当Kasparov落败时，他表示，深蓝的一些动作聪明且充满创意，必定是人为干预的结果。然而，事实并非如此。深蓝的一举一动，靠的是那块拥有1.4万超并行结构的芯片，能够每秒分析出2亿个棋盘落子点。即使Kasparov深谋远虑，然而一柄长枪难敌一营火炮。
时间线来到了2016年，谷歌的AlphaGo迎战韩国专业选手李世石。在第二场比赛时，AlphaGo做了一个让对手颇为吃惊的举动，其将子落在了距离棋盘中心相对较远的位置。评论员说道：“这个举动太奇怪了。”曾败在AlphaGo手上的Fan Hui表示：“我还以为是系统出错了，一般人类不会这么下。”
后来，AlphaGo赢得了这场比赛，以及后来的系列赛事。AlphaGo内嵌一个神经网络，里面拥有数百万个专业棋手的落子数据。此外，工程师还让Alphago自我练习数百万次。因此，其生成的落子策略会优于人类棋手。但是，Alphago自己是很难分辨清楚这些策略的：我们知道它落子的位置，却不知道它落子的原因。
谷歌翻译是在2006年推出的，其采用的是一种名为统计语言推理（statistical language inference）的技术。该系统并没有尝试去理解语言的构造原理，而是直接吸收运用大量现有的译文。简单来说，谷歌翻译并没有用人类的思维来理解语言，而是靠数据驱动，直接处理映射单词。
正因如此，谷歌翻译造成的错误比比皆是，让人啼笑皆非。但在2016年，系统开始采用谷歌大脑（Google Brain）开发的神经网络，翻译能力呈指数级提高。其不再交叉引用文本，而是建立了一个自己的模型。
同年，谷歌大脑的其他研究员开发了另外三个网络，分别称为Alice、Bob，以及Eve，专门用来学习如何加密信息。过程如下：Alice和Bob手上有一个加密数字要是，但是Eve不知道；接着，Alice会执行文本操作，然后发送给Bob和Eve。如果Bob破解信息，那么Alice就加一分；如果Eve破解信息，那么Alice就扣一分。
经过数千次的测试和迭代，Alice和Bob最终能够在Eve无法破解信息的情况下沟通；这有点儿像我们今天用的私密邮件一般。但关键的是，我们并不了解这种加密工作，具体的操作被网络层层阻隔。Eve不知道的东西，我们也不知道；机器正在学会保守秘密。
我们如何理解自己在世界上的位置、我们与他人以及机器的关系，最终将决定技术的发展方向。我们不能忽视网络，我们只能在网络中思考。现如今，影响着我们的技术不会凭空消失；在许多情况下，我们也不希望它消失。毕竟，还有一个70亿人口的星球在依赖着它。对于现在所处的恶劣环境，我们并非无能为力；我们要做的，就是思考、思考、再思考。
科技是我们自我的延伸，存在于机器设施编码，以及知识行为框架中。计算机并没有给我们所有的答案，而是让我们向这个世界用新的方式提出了新的问题。
