摘要：环境损害。人工智能还可以放大与环境灾难相关的灾难性风险，包括气候变化，这可能导致死亡、生态系统不稳定、社会不稳定，并降低人类的能力。无论是通过持续燃烧化石，人类的决策往往已经导致了环境危害尽管气候变化带来了全球灾难性风险，地下水过度开采导致水资源短缺和水质差，

环境损害。人工智能还可以放大与环境灾难相关的灾难性风险，包括气候变化，这可能导致死亡、生态系统不稳定、社会不稳定，并降低人类的能力。无论是通过持续燃烧化石，人类的决策往往已经导致了环境危害尽管气候变化带来了全球灾难性风险，地下水过度开采导致水资源短缺和水质差，或破坏了作物和牲畜的宝贵生态系统，但这些结果可以被认为是一种人类层面的目标错位，当公共产品（如清洁空气、清洁水和健康生态系统）的价值选择（也就是说，私人行为者（如公司或个人）做出决策的因素不包括公共利益）环境系统中的人工智能可能容易受到其他人工智能系统中存在的同样类型的规范和鲁棒性故障的影响。例如，农业部门可以使用人工智能来最大限度地提高农业产出，但如果人工智能的效用函数中没有考虑森林的价值，这样做可能会加速森林砍伐的速度。

另一个例子是，人工智能可能被用来识别不考虑此类活动对环境的影响。尽管单独来看，这些活动不太可能导致灾难，但一些人假设，在极端情况下，规范失败可能意味着人工智能导致维持文明或维持人类生活所需的资源枯竭。人们还担心过程消耗的能量警告说，未来人工智能可能会消耗与小国一样多的能源。在一篇论文中，研究人员表示，训练一个人工智能模型产生的二氧化碳排放量约为60万磅。作为参考，人类平均每年产生11000磅的二氧化碳排放。创建为人工智能系统供电所需的组件也会消耗物理资源（如然而，也有充分的理由相信，人工智能可以帮助减少环境退化和灾难，因为这些结果是人工智能可以解决的人类信息和决策不足的结果。我们认为，人工智能被用于造成全球环境灾难的可能性是，与人类造成全球环境灾难的可能性一样，这似乎很高。

社会、治理、经济和关键基础设施系统的中断。随着人工智能越来越多地部署在社会、治理、经济和关键系统中，它可能会破坏这些系统的稳定性。在本节中，我们给出了几个说明性的例子。在经济体系中，现有的人工智能软件工具已经提供了一些警示故事。例如，2012年，贸易公司Knight Capital Group在着金融机构越来越依赖人工智能来做出快速、高风险的决策，人们可以想象，人工智能故障以如此快的速度和规模对股市造成严重破坏，以至于人类无法在造成巨大经济损失之前纠正或回滚错误。人工智能可以增加敌对行为者使用技术控制和操纵他人的便利性，从而影响政府和社会系统。研究表明，人工智能系统已经被用来帮助操纵政治观点和选民行为。人工智能的广泛使用可能会进一步分裂人口，煽动内战，并增加法西斯机构构成的风险。

如果系统受到损害，集成到电网、发电厂和水处理设施等关键基础设施中的人工智能将为高后果的中断打开大门。这些系统通常与工业控制系统一起运行，远程操作由监控和数据采集系统提供便利。工业控制和SCADA系统神经网络最近作为监控这些系统和检测攻击的工具得到了普及。然而，这为熟悉的网络安全攻击以及新型的对抗性攻击打开了大门，例如训练数据中毒，这可能会导致人工智能在部署时无法检测到网络攻击。人工智能系统也可以更直接地集成到关键的基础设施控制系统中，以完成预测任务，如预测电力需求或评估电网稳定性。对这些系统的对抗性攻击（例如，发送虚假的折扣通知，鼓励消费者将能源消耗转移到峰值需求期）可能会导致广泛的停电，从而产生后果作为医院。

人工智能有可能增强和破坏社会、治理和经济体系，就像社交媒体、大数据甚至互联网本身的前身一样。这里的主要风险是上述任何一种情况造成的社会不稳定。人工智能能否扭转这些颠覆全球灾难的发生将取决于这些系统的弱点和连通性，而不是人工智能带来的革命性能力。

全球人类失能。如果不讨论人工智能接管和全球人类被剥夺权力的可能性，任何关于人工智能灾难性风险的报告都是不完整的。这样的场景一直是科幻小说中反复出现的主题，包括电影（如《黑客帝国》和《终结者》）和无数小说。然而，近年来，这个问题已经从科幻小说的领域跃升为媒体上的对话领导人和学者。它是由对几个想象中的未来的担忧推动的。首先，人们担心人工智能将变得超级智能或超级能力，无论是通过人类设计还是通过超越人类意图或控制的自我改进。76有一种观点认为，一旦人工智能实现了超级能力，人类将受制于人工智能，可能缺乏观察、理解或抵抗人工智能行为的智能可以有任何目标，包括隐含或明确对人类有害的目标，并且可以通过从人类手中夺取权力和资源来实现目标。

由于其卓越的智能、不同的目标和代理能力，这样的人工智能可能很难控制。正如人工智能研究员马文·明斯基在1970年打趣道的那样，一旦计算机获得了控制权，我们可能永远也回不来了幸运的是，他们可能会决定把我们当宠物养。这种情况在更大的时间范围内（例如100年）发生的可能性是未知的；人们无法预测在这样的时间范围内技术将如何发展，人们将如何与之互动。然而，没有令人信服的证据表明这种情况会在未来30年内发生。如果人工智能变得超级强大，即使人类失去了对人工智能系统的控制，这也是不可能的就会发生灾难性的风险。一个超级能力的人工智能需要采取哪些行动才能被视为全球灾难性风险？由于超能力人工智能的行为，现实世界可能会发生什么后果？这种情景的假设仍然是哲学人工智能界的思维练习，而不是基于经验和证据的关注。

人工智能风险的不确定性和时机。人工智能将应用于现有的高风险领域是一个可能的结论，如果不是预先确定的话。人工智能可能通过上述所有媒介增加现有人为灾难的风险。它还可能增加一些风险（如气候变化），治理和监管有可能增加或减少风险。但这种风险实际上是什么？这是深深的u分析师不知道，或者决策各方无法就以下方面达成一致意见：（1）描述将塑造长期未来的关键驱动力之间关系的适当概念模型，（2）用于表示这些概念模型的数学表示中关键变量和参数的不确定性的概率分布，和/或（3）如何对需求进行估值。【未完待续】请继续关注下一期。

来源：国际战略对策研究