[科学技术]保罗·斯查瑞：人工智能“军备竞赛”的真正危险是什么

本版所有图片均为数据图片

[全球技术]

早在2017年，俄罗斯总统普京就宣称，引领人工智能发展的国家将“成为世界的统治者”。这种观点显然是传遍全世界的，因为到目前为止，已经有十几个国家宣布了自己的人工智能计划。2017年，中国发布了《新一代人工智能发展规划》，制定了“到2030年，人工智能理论、技术和应用总体上将达到世界领先水平，成为世界人工智能重大创新中心，在智能经济和智能社会取得显著成效，为跻身创新型国家和经济强国前列奠定重要基础”的目标。2019年初，白宫发布了美国人工智能计划，美国国防部推出了人工智能战略。

科技发力，创新进步是好事。然而，最近，“人工智能军备竞赛”的新理论反映了对其危险的错误理解，这可能导致重大的新风险。事实上，对于每个国家来说，真正的危险不是在人工智能的竞争中落后于对手，而是试图“竞争”，这将使各国争相部署不安全的人工智能系统。想要先发制人并取得胜利的国家实际上面临着和竞争国家一样多的危险。

1.没有人会赢的游戏

人工智能从医疗保健到交通运输都带来了巨大的收益，同时也存在巨大的风险。这些风险不像科幻电影中机器人的崛起，真正的威胁来自人类。

目前人工智能系统功能强大但不可靠。许多人工智能系统不仅在受到复杂攻击时变得脆弱，而且在训练环境之外使用时往往会失败。政府真的希望制度运行顺畅，但“军备竞赛”的大环境，让一些人只关心现在，管理不了未来。即使其他国家在人工智能系统方面实际上没有取得重大突破，但他们的技术突飞猛进的猜测足以促使其他国家加入“竞争”。如果政府部署未经测试的人工智能武器系统或依靠有缺陷的人工智能系统发动网络攻击，可能会给所有相关人员和国家带来灾难性后果。

世界各国的政治家都要学习计算机网络发展的历史，从一开始就把安全性作为人工智能设计的主要因素；我们也应该减少关于人工智能军备竞赛的言论，寻求与其他国家合作的机会，研究和降低人工智能的风险。说到底，人工智能军备竞赛是一场没有人会赢的游戏。

最简单的人工智能系统通过遵循人类预设的一系列规则来执行任务。虽然我们很难把飞机自动驾驶仪或者报税软件背后的技术当成人工智能，但是这些众所周知的“专家系统”已经存在了几十年，现在无处不在。在过去的几年里，随着数据采集、计算机处理能力和算法设计的快速发展，研究人员通过更灵活的方法:机器学习，在人工智能方面取得了很大的进步。

机器学习就是程序员不需要写规则，机器通过分析来拾取给定的数据。该算法提供了数千张带有对象标签的照片，它将学会识别图像中的模式，并将它们与对象名称相关联。人工智能的繁荣始于2012年，研究人员依靠人工深层神经网络在机器学习技术的“深度学习”方面取得了重要突破。人工神经网络是受生物神经元启发的智能技术，通过发送和接收电脉冲来模拟生物神经元与其他细胞进行通信。首先人工神经网络就像一个未知的领域，然后系统通过调整神经元之间的连接强度，加强正确答案的路径连接，弱化错误答案的路径连接来进行学习。深度神经网络，deep learning，是在输入层和输出层之间有多层人工神经元的神经网络。额外的神经元层允许不同路径的强度有更多的可变性，从而帮助人工智能在更大范围内应对各种情况。

2.几乎无所不能的人工智能

系统如何准确学习，取决于开发者选择哪种机器学习算法，提供什么数据。很多机器学习方法使用有标签的数据(称为“监督学习”)，但机器也可以从无标签的数据中学习(“无监督学习”)或直接从环境中学习(“强化学习”)，也可以从计算机合成的数据中学习。Waymo是一家开发自动驾驶汽车的公司。Waymo开发的自动驾驶汽车在公共道路上行驶了1000多万英里，公司每天在电脑上模拟记录1000万英里的行驶情况，从而可以利用数十亿英里的合成数据来测试自动驾驶汽车的算法。

自从2012年深度学习取得重大突破以来，研究人员已经创造出了匹配甚至超越人类最佳表现的人工智能系统。这些系统可以进行面部识别、物体识别、语音转录和玩复杂的游戏，包括中国围棋和实时电脑游戏《星际争霸》。深度学习也超越了旧的基于规则的人工智能系统。2018年，一个深度学习算法在一台大型超级计算机上，用自己四个小时玩了几百万个游戏，打败了当时的象棋冠军计算机程序，没有任何人工训练数据或人工编码规则来指导其行为。

研究人员现在正在应用人工智能来改善现实世界的问题，从诊断皮肤癌到驾驶汽车到提高能源效率。据麦肯锡咨询公司估计，美国人需要的付费服务，几乎有一半可以利用现有的人工智能技术实现自动化(最终将淘汰5%的服务)。随着大数据和强大计算能力的积累，大型组织最有可能取得重大突破，使人工智能工具越来越普及。现在很多人工智能工具都可以在网上随意使用。比如免费编程课程教人如何制作自己的人工智能系统，训练好的神经网络可以免费下载。人工智能工具的普及确实可以促进创新，但是把强大的人工智能工具轻易给任何想要的人，也会帮助那些想作恶的人。

滥用人工智能造成的危害不是假设，事实已经摆在眼前。聊天机器人等僵尸程序经常被用来操纵社交媒体，选择性地放大某些信息，抑制其他信息。人工智能变脸是人工智能生成的一个假视频，用一个色情演员的身体以数字化的方式完美地嫁接一个人的脸，用来进行所谓的“情色报复攻击”。

以上例子只是开始。政治活动使用基于人工智能的数据分析来为个人设计定制的政治宣传，商业公司也使用相同的分析向潜在客户发送感兴趣的广告。数字窃贼使用人工智能工具来创建更有效的网络钓鱼攻击。聊天机器人只需要一分钟的音频来克隆人类的声音，从而令人信服地模拟人类在线或通过电话的对话。任何没有真人的在线或电话互动都可能是诈骗。安全专家已经证明，网络黑客完全有可能入侵自动车，锁定自动车的转向和刹车功能。只有一个人可以通过在线操作劫持大量车辆，造成交通拥堵或发动恐怖袭击。

3.人工智能将何去何从

无论哪个国家在人工智能方面处于领先地位，都会被用来获取与竞争对手的经济和军事比较优势。据估计，到2030年，人工智能将为全球经济贡献13万亿至15万亿美元。人工智能也会加速科学发展的进程。2019年，人工神经网络在生物研究的关键任务——合成蛋白质折叠方面取得了重要进展，大大领先于现有的研究方法。

人工智能也会彻底改变战争。人工智能是提高士兵战场态势感知、指挥官决策能力和指挥传递能力的最有效途径。人工智能系统处理信息的数量和速度远远超过人类。它们是实时评估战争中大量信息的有价值的工具。在战场上，机器比人类移动得更快、更准确、更和谐。在最近人工智能与人类的“星际争霸”电子游戏竞赛中，人工智能系统alphastar在快速处理海量信息、协调作战单位、快速精准移动等方面展现出超越人类的能力。在现实世界中，人工智能系统凭借上述优势，在管理和控制机器人种群方面比人工控制更加有效。人类可以在更高层次的战略中保持优势，但人工智能将在地面战中发挥主导作用。

中国已经是人工智能的全球强国，这也是华盛顿急于发展人工智能的原因。在全球领先的人工智能公司排名中，中国科技巨头阿里巴巴、百度和腾讯紧随亚马逊、谷歌和微软之后。2018年注资规模最大的10大AI初创企业中，有5家是中国企业。几年前，中国在2030年前成为人工智能全球领导者的目标似乎是纸上谈兵，但现在完全有可能成为现实。

美国的现实是，华盛顿和硅谷在人工智能的军事用途上存在巨大差异。谷歌和微软的员工反对他们公司与五角大楼的合同，这导致谷歌停止使用人工智能来分析视频材料。由于政府和民众的分歧，美国即使在人工智能的研发上保持领先地位，也将失去军事优势。政府的合理反应是把对人工智能的投入翻一番。但问题是，人工智能技术是一把双刃剑，既会给败诉方带来风险，也会给胜诉方带来风险。

4.未知的风险和挑战

今天的人工智能技术很强大，但并不完全可靠。基于规则的系统无法处理程序员没有预见到的情况，学习系统受限于训练数据。人工智能的失败导致了一些悲剧。虽然自动驾驶汽车的高级功能在某些情况下表现良好，但也会发生汽车毫无预警地撞上卡车、混凝土路障和停放的汽车的情况。当出现与训练场景不同的意外情况时，人工智能系统会瞬间从超级智能变成超级白痴。当敌人试图操纵和入侵人工智能系统时，风险会更大。

虽然有时不会完全崩溃，但学习系统会以错误的方式实现目标。在去年的一篇研究论文中，52位研究人员对人工智能系统的异常行为进行了数十次阐述:学习模拟环境中行走的算法，发现它可以通过反复摔倒而移动得更快；一个玩俄罗斯方块的机器人学会了在最后一个积木掉下来之前暂停游戏，这样就永远不会输；一个程序自动删除得不到高分的评价文件。正如研究人员所写:“从功能实现的角度来看，人工智能在迭代过程中发现设计漏洞要比实现人类设定的预期目标容易得多。”给人类惊喜或者吓到人类似乎是人工智能学习系统的标准特征。

机器学习系统的性能与其提取的训练数据密切相关。如果数据不能很好地反映系统的运行环境，系统在现实世界中就会失效。2018年，麻省理工学院媒体实验室的研究人员发现，三种主流面部识别系统在识别深色皮肤方面比浅色皮肤差得多。

当机器学习系统出错时，它会像人类一样沮丧和不确定。即使研究人员不一定每次都能预测到机器的行为，对于基于规则的人工智能系统，开发人员仍然可以解释机器的行为。然而，对于深度学习系统，研究人员通常无法理解机器为什么要这样做。谷歌人工智能研究员阿里·拉希米(Ali rahimi)认为，尽管中世纪炼金术士发现了现代玻璃制造技术，但他们并不了解这一突破背后的化学或物理原理。同样，正在开发机器学习的现代工程师也可以在人工智能方面取得重大突破，但相应的基础科学还没有发展到可以解释这一点的程度，技术已经走在了科学的前面。

人工智能系统的每一次失败都会成为一个可利用的漏洞。在某些情况下，攻击者可以毒害训练数据。2016年，微软创建了一个名为tay的聊天机器人，并为其开设了推特账户。在一些用户向泰国人发布攻击性的推文后，泰国人在不到24小时内就开始模仿他们的种族主义和反犹言论。这是一个很明显的数据中毒的例子，但并不是所有的数据中毒攻击都那么明显。一些隐藏在训练数据中的东西是人类无法检测到的，而是暗中操纵机器的运行。

即使深度学习系统的创建者保护了数据源，攻击者也可以通过提供精心定制的输入对抗样本来欺骗系统，使机器出错。正常图像的轻微变形，人类一眼就能看穿，却能糊弄人工智能。用于卫星图像分类的神经网络系统会被对抗性样本欺骗，轻微变形的医院图像会被识别为军用机场，反之亦然。对抗性样本甚至可以是具体的物体。有一次，物体识别系统把龟壳里嵌有微小旋涡的塑料乌龟识别为步枪；在另一项研究中，研究人员在停车标志前放置了几个白色和黑色的小方块，使神经网络系统将其识别为每小时45英里的限速标志。更糟糕的是，入侵者可以开发这种欺骗性的图像和对象，而不必访问训练数据或他们试图击败的底层算法，因此研究人员一直在试图找到有效的防御措施来抵御这种威胁。这种威胁不同于网络安全漏洞。后者通常可以在发现漏洞后进行修补。前者没有办法提前给算法打防攻击的疫苗。

各国政府在军事、网络、监控等方面都积累了丰富的人工智能测试经验，但是没有一种测试方法能够保证复杂系统一旦在现实世界中运行就不会失败。当f-22战斗机第一次穿越国际国际日期变更线时，计算机系统崩溃，飞机差点在太平洋坠毁。

测试人工智能系统比测试传统的军事硬件设备需要更多的时间和金钱。人工智能的复杂性赋予了它更大的能力，也导致了更多不可预见的意外失败。假设一个政府开发了一个可以在不知不觉中入侵敌对国计算机网络的人工智能系统，部署该系统的政府将获得对敌对国的巨大优势。由于担心敌对国家正在加紧开发类似的人工智能工具，政府将被迫缩短测试时间，尽快部署系统。这种相互追逐的情况在自主车等行业已经成为一种趋势，但人工智能工具在国家安全领域引发的事故后果更大。

政府痴迷于强大但不安全的技术。其实并不是人工智能，而是计算机开创了它。尽管计算机系统存在巨大的漏洞，但它们仍然在从股票交易到制导导弹的几乎所有领域发挥着至关重要的作用。2018年，美国政府问责局调查人员发现，美国武器系统存在许多网络安全漏洞，可以通过“相对简单的工具和技术”加以利用。更糟糕的是，国防部的项目负责人不知道这个问题，无视负责部门的调查结果，声称测试不切实际。计算机安全漏洞不仅限于政府运营的系统，许多大公司也遭受了重大数据泄漏。所以，现在提数字安全是一种事后想法。但是，这不仅仅是人工智能系统遍布全球的一种可能，而是一种默认设置，人工智能的安全性是一个迫切的世界性问题。

5.人工智能的发展需要全球合作，安全第一

人工智能的威胁如此紧迫，世界需要紧急应对。政治家应对人工智能危害最重要的防御手段之一是增加人工智能安全研究的资金投入。私人公司花费数十亿美元研究和开发人工智能在商业中的应用，政府在这个领域发展的一开始就应该增加对基础研究的投入。美国国防高级研究计划局正在实施“下一代人工智能创新”项目，计划在未来五年内花费20亿美元解决弱人工智能系统的局限性。在此基础上，作为美国人工智能创新计划的一部分，白宫将相应增加对人工智能安全的研究经费，并要求国会为人工智能安全的研发提供更多的预算。

在将人工智能应用于国家安全时，政府机构需要重新审视测试新系统的传统方法。仅仅验证系统是否符合设计规范是远远不够的。测试人员还需要确保系统在现实世界中面临恶意入侵的威胁时能够继续正常运行。在某些情况下，测试人员可以参考自动驾驶汽车制造商的做法，使用计算机模拟来整理错误漏洞。除此之外，国防部和情报界也应该成立一个“红军”——充当攻击者，测试系统的防御能力——在人工智能系统中搜索潜在的安全隐患，让开发者在系统上线前进行修复。

政府官员也应该淡化关于人工智能军备竞赛的言论，这些言论可能会成为自我实现的预测。五角大楼首席研究员兼工程师迈克尔·格里芬(Michael Griffin)在2018年的一次会议上表示:“可能会有一场人工智能军备竞赛，但我们没有参与。”美国军方肯定会使用人工智能，但格里芬的声明既没有提到也没有意识到随之而来的风险。政府官员过多谈论军备竞赛，只能鼓励竞争对手追求速度，降低安全性。因此，他们不仅要强调人工智能的价值，还要强调可靠性和安全性。

最后，为了保证人工智能的安全，美国应该寻求与其他国家(甚至是对手)合作的途径。新技术领域的国际合作有好有坏的先例，有时各国可以成功合作，避免相互伤害。冷战期间，美国与苏联合作，限制双方认为特别不稳定的某些类型核弹头运载系统。美国还鼓励其他国家采取安全措施，防止未经授权使用核武器。今天，美国应该与其盟友和对手合作，增加对人工智能安全研究的国际投资。美国还应该与中国和俄罗斯讨论人工智能的一些应用是否会带来可怕的风险升级或失控，以及各国如何共同采取措施提高安全性。在人工智能军备竞赛中，美国面临的最大危险不是输，而是创造一个失去一切的世界。

19世纪的工业化带来了巨大的经济增长，但同时也为军队生产了坦克、机枪、芥子气等杀人武器。核武器的发明带来了更大的危险，政策制定者仍在与之搏斗。计算机彻底改变了人们工作、学习和交流的方式，但同时也使相对独立的系统更容易受到网络攻击。

人工智能是与时俱进的，它的影响大多是正面的。人工智能可以促进经济增长，诊断和治疗疾病，减少交通事故，全方位改善人们的生活。但就像任何新技术一样，人工智能也有黑暗的一面。勇敢面对风险才能实现创造人工智能改善生活的初衷，否则只会带来无尽的危险。

(作者:保罗·疾走，美国新安全中心高级研究员兼技术与国家安全项目主任，专著《无人军团:自动武器与战争的未来》作者；编辑杜衡是四川省社会科学院管理研究所的副研究员。原文发表于2019年5/6月期《美国外交》杂志。(

(来源:光明日报)