摘要：结合智能体能力，AGI可以增强AI自主理解、推理、规划和执行行动的能力。这种技术进步将为社会提供应对药物发现、经济增长和气候变化等关键全球挑战的宝贵工具。
译者：Xiaohu Zhu
我们正在探索AGI的前沿，优先考虑准备就绪、主动风险评估以及与更广泛的AI社区合作。
通用人工智能(AGI)，即在大多数认知任务上至少与人类一样能力的AI，可能会在未来几年内实现。
结合智能体能力，AGI可以增强AI自主理解、推理、规划和执行行动的能力。这种技术进步将为社会提供应对药物发现、经济增长和气候变化等关键全球挑战的宝贵工具。
这意味着数十亿人可以获得切实的益处。例如，通过实现更快速、更准确的医疗诊断，它可以彻底改革医疗保健。通过提供个性化的学习体验，它可以使教育更加普及和吸引人。通过增强信息处理能力，AGI可以帮助降低创新和创造力的障碍。通过民主化获取先进工具和知识的途径，它可以使小型组织能够应对以前只有大型、资金充足的机构才能解决的复杂挑战。
我们对AGI的潜力持乐观态度。它有能力改变我们的世界，成为生活多个领域进步的催化剂。但对于任何如此强大的技术，即使是极小的伤害可能性也必须认真对待并加以防范，这一点至关重要。
缓解AGI安全挑战需要主动规划、准备和合作。此前，我们在"AGI层级"框架（https://arxiv.org/abs/2311.02462）论文中介绍了我们对AGI的方法，该框架提供了关于分类先进AI系统能力、理解和比较其性能、评估潜在风险以及衡量向更通用和更强大的AI发展进展的视角。
今天，我们分享我们关于AGI安全和安保的观点，探讨如何负责任地推进这项变革性技术。这篇新论文《技术AGI安全与安保方法》（https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/evaluating-potential-cybersecurity-threats-of-advanced-ai/An_Approach_to_Technical_AGI_Safety_Apr_2025.pdf）是与更广泛的行业展开关于如何监测AGI进展以及确保其安全负责任开发的重要对话的起点。
在论文中，我们详述了我们如何系统全面地应对AGI安全问题，探讨四个主要风险领域：滥用、错误对齐、意外事故和结构性风险，并特别关注滥用和错误对齐问题。
滥用发生在人类故意将AI系统用于有害目的时。
对当前危害和缓解措施的深入了解继续增强我们对长期严重危害及其预防方法的理解。
例如，当前生成式AI的滥用（https://arxiv.org/abs/2406.13843）包括制作有害内容或传播不准确信息。未来，先进的AI系统可能有能力以可能导致意想不到的社会后果的方式更显著地影响公众信念和行为。
这种伤害的潜在严重性需要主动的安全和安保措施。
正如我们在论文（https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/evaluating-potential-cybersecurity-threats-of-advanced-ai/An_Approach_to_Technical_AGI_Safety_Apr_2025.pdf）中详述的，我们战略的关键要素是识别并限制获取可能被滥用的危险能力，包括那些能够实现网络攻击的能力。
我们正在探索许多缓解措施，以防止先进AI的滥用。这包括复杂的安全机制，可以防止恶意行为者获取原始模型权重，从而绕过我们的安全防护；限制模型部署时滥用潜力的缓解措施；以及有助于识别需要加强安全的能力阈值的威胁建模研究。此外，我们最近推出的网络安全评估框架（https://deepmind.google/discover/blog/evaluating-potential-cybersecurity-threats-of-advanced-ai/）进一步帮助减轻AI驱动的威胁。
即使在今天，我们也会定期评估我们最先进的模型(如Gemini)的潜在危险能力（https://arxiv.org/abs/2403.13793）。我们的前沿安全框架（https://deepmind.google/discover/blog/updating-the-frontier-safety-framework）深入探讨了我们如何评估能力并采用缓解措施，包括针对网络安全和生物安全风险。
为了使AGI真正补充人类能力，它必须与人类价值观保持一致。当AI系统追求的目标与人类意图不同时，就会发生错误对齐。
我们之前展示了错误对齐如何产生，例如规格游戏(specification gaming)（https://deepmind.google/discover/blog/specification-gaming-the-flip-side-of-ai-ingenuity/），即AI找到实现其目标的解决方案，但方式与指导它的人类的意图不符，以及目标错误泛化(goal misgeneralization)（https://deepmind.google/discover/blog/how-undesired-goals-can-arise-with-correct-rewards/）。
例如，一个被要求预订电影票的AI系统可能决定黑入售票系统，获取已被占用的座位——这是要求它购买座位的人可能没有考虑到的。
我们也在对欺骗性对齐的风险进行广泛研究，即AI系统意识到其目标与人类指令不一致，并故意试图绕过人类设置的安全措施，以防止其采取错误对齐的行动的风险。
我们的目标是拥有经过训练以追求正确目标的先进AI系统，使其能够准确遵循人类指令，防止AI使用潜在的不道德捷径来实现其目标。
我们通过增强监督来实现这一点，即能够判断AI的回答在实现该目标方面是好是坏。虽然现在这相对容易，但当AI具有先进能力时，这可能变得具有挑战性。
例如，当AlphaGo首次下出第37手棋时，即使围棋专家也没有意识到这步棋有多好，这一步棋有1/10000的概率被使用。
为了应对这一挑战，我们让AI系统自身帮助我们对其回答提供反馈，例如在辩论（https://arxiv.org/abs/2407.04622）中。
一旦我们能够判断回答是否好，我们就可以利用这一点构建安全且对齐的AI系统。这里的挑战是确定AI系统应该训练的问题或实例。通过对鲁棒训练、不确定性估计等方面的工作，我们可以涵盖AI系统在现实世界场景中将遇到的各种情况，创建可信赖的AI。
通过有效的监控和既定的计算机安全措施，我们的目标是减轻如果我们的AI系统追求错误对齐目标可能发生的伤害。
监控涉及使用一个称为监视器的AI系统，以检测与我们目标不一致的行为。重要的是，监视器知道它何时不确定某个行为是否安全。当它不确定时，它应该拒绝该行为或将该行为标记为需要进一步审查。
如果AI决策变得更加透明，所有这些都会变得更容易。我们在可解释性（https://deepmind.google/discover/blog/gemma-scope-helping-the-safety-community-shed-light-on-the-inner-workings-of-language-models/）方面进行广泛研究，旨在提高这种透明度。
为了进一步促进这一点，我们正在设计更容易理解的AI系统。
例如，我们关于具有非短视批准的短视优化(MONA)（https://arxiv.org/abs/2501.13011）的研究旨在确保AI系统进行的任何长期规划对人类来说仍然是可以理解的。随着技术的改进，这一点尤为重要。我们在MONA上的工作是首次展示短期优化在大型语言模型中的安全益处。
由Google DeepMind联合创始人兼首席AGI科学家Shane Legg领导的AGI安全委员会(ASC)分析AGI风险和最佳实践，并就安全措施提出建议。ASC与责任与安全委员会紧密合作，该委员会是我们的内部审查小组，由首席运营官Lila Ibrahim和责任高级总监Helen King共同主持，根据我们的AI原则（https://ai.google/responsibility/principles/）评估AGI研究、项目和合作，为研究和产品团队提供建议并与之合作，开展我们最具影响力的工作。
我们在AGI安全方面的工作补充了我们在责任和安全实践与研究方面的深度和广度，解决了包括有害内容、偏见和透明度在内的广泛问题。我们还继续利用我们在智能体安全方面的经验，例如让人类参与检查重要行动的原则，指导我们负责任地构建AGI的方法。
在外部，我们正在与专家、行业、政府、非营利组织和民间社会组织合作，采取知情方法开发AGI。
例如，我们正在与非营利AI安全研究组织合作，包括Apollo和Redwood Research，他们为我们前沿安全框架（https://deepmind.google/discover/blog/updating-the-frontier-safety-framework）最新版本中的专门错误对齐部分提供了建议。
通过与全球政策利益相关者的持续对话，我们希望为关键前沿安全和安保问题达成国际共识做出贡献，包括我们如何最好地预测和准备应对新型风险。
我们的努力包括通过前沿模型论坛（https://www.frontiermodelforum.org/）等组织与行业内其他人合作，分享和开发最佳实践，以及与AI研究所在安全测试方面的宝贵合作。最终，我们相信协调一致的国际治理方法对确保社会从先进AI系统中受益至关重要。
对AI研究人员和专家进行AGI安全教育是为其发展创建坚实基础的基本要素。因此，我们为对这一主题感兴趣的学生、研究人员和专业人士推出了新的AGI安全课程（https://youtube.com/playlist?list=PLw9kjlF6lD5UqaZvMTbhJB8sV-yuXu5eW&si=0iAOSz0wUPiNHr8C）。
最终，我们的AGI安全和安保方法是应对众多尚未解决挑战的重要路线图。我们期待与更广泛的AI研究社区合作，负责任地推进AGI，帮助我们为所有人解锁这项技术的巨大益处。
来源：人工智能学家
