斯坦福大学发布最新AI报告（三）：负责任的人工智能

摘要：用负责任的人工智能标准来评估人工智能系统仍然并不常见，但新的基准开始出现。去年的 AI 指数强调了 LLM 缺乏标准化的 RAI 基准。尽管这个问题仍然存在，但 HELM Safety 和 AIR-Bench 等新基准有助于填补这一空白。

1. 用负责任的人工智能标准来评估人工智能系统仍然并不常见，但新的基准开始出现。
去年的 AI 指数强调了 LLM 缺乏标准化的 RAI 基准。尽管这个问题仍然存在，但 HELM Safety 和 AIR-Bench 等新基准有助于填补这一空白。

2. 人工智能事件报告数量持续增加。
根据人工智能事件数据库，2024 年报告的人工智能相关事件数量上升至 233 起，创历史新高，比 2023 年增长 56.4%。

3. 组织承认 RAI 风险，但缓解措施滞后。
麦肯锡对组织 RAI 参与度的调查显示，虽然许多组织都识别出关键的 RAI 风险，但并非所有组织都在采取积极措施解决这些风险。包括不准确性、法规遵从性和网络安全在内的风险是领导者最关心的问题，只有 64%、63% 和 60% 的受访者分别表示他们担心这些问题。

4. 全球的政策制定者都对 RAI 表现出浓厚的兴趣。
2024 年，全球人工智能治理合作进一步加强，重点是阐明负责任人工智能的一致原则。包括经合组织、欧盟、联合国和非洲联盟在内的几个主要组织发布了框架，以阐明 RAI 的关键问题，例如透明度和可解释性以及可信度。

5. 数据共享空间正在迅速缩小。
AI 模型依赖大量公开可用的网络数据进行训练。最近的一项研究发现，从 2023 年到 2024 年，数据使用限制显著增加，因为许多网站实施了新的协议来限制用于 AI 训练的数据抓取。在 C4 通用抓取数据集中积极维护的域中，受限令牌的比例从 5-7% 跃升至 20-33%。这种下降对数据多样性、模型一致性和可扩展性有影响，也可能导致在数据约束下学习的新方法。

6.基金会模型研究透明度不断提高，但仍有更多工作要做。
更新后的基础模型透明度指数（一个跟踪基础模型生态系统透明度的项目）显示，主要模型开发者的平均透明度得分从 2023 年 10 月的 37% 上升到 2024 年 5 月的 58%。虽然这些收益令人鼓舞，但仍有相当大的改进空间。

7. 更好的事实和真实性基准。
早期的基准测试（例如 HaluEval 和 TruthfulQA）旨在评估 AI 模型的真实性和真实性，但未能在 AI 社区中获得广泛采用。为了应对这种情况，出现了更新、更全面的评估，例如更新的 Hughes 幻觉评估模型排行榜、FACTS 和 SimpleQA。

8. 与人工智能相关的选举错误信息在全球范围内传播，但其影响尚不明确。
2024 年，十多个国家和十多个社交媒体平台出现了大量与人工智能相关的选举虚假信息案例，其中包括美国总统大选期间。然而，对于这一问题是否会产生可衡量的影响仍存在疑问，许多人预计虚假信息活动对选举的影响会比实际情况更深远。

9. 接受过明确不偏不倚训练的法学硕士仍然表现出隐性偏见。
许多LL（包括 GPT-4 和 Claude 3 Sonnet）都设计了措施来抑制显性偏见，但它们仍然表现出隐性偏见。这些模型不成比例地将负面词汇与黑人联系起来，更多地将女性与人文学科而不是 STEM 领域联系起来，并且偏爱男性担任领导角色，这加剧了决策中的种族和性别偏见。尽管偏见指标在标准基准上有所改善，但 AI 模型偏见仍然是一个普遍存在的问题。