摘要：这话听起来耸人听闻，但在AI界，持类似观点的人并不少。Soares所在的“机器智能研究院”（MIRI）名字听起来很官方，其实是一家2000年初成立的民间非营利组织，位于美国加州，规模不大，也非主流学术机构。
机器智能研究院院长Nate Soares今年夏天对《大西洋月刊》坦言，自己已经停止缴纳401(k)养老金。“我不认为这个世界会一直存在下去，”他说。
这话听起来耸人听闻，但在AI界，持类似观点的人并不少。Soares所在的“机器智能研究院”（MIRI）名字听起来很官方，其实是一家2000年初成立的民间非营利组织，位于美国加州，规模不大，也非主流学术机构。
它之所以被关注，是因为长期专注于“AI对齐”和“超级智能风险”的研究，并带有强烈的“AI末日论”倾向。虽然学术地位不如MIT、斯坦福或DeepMind，但MIRI始终不断发出“人类可能因AI灭绝”的警告。
类似的忧虑也来自新一代的AI安全学者，比如不到35岁的Dan Hendrycks。他是旧金山人工智能安全中心（CAIS）的创办人，同样以非营利的方式推动AI安全议题。
CAIS的策略更贴近主流：发布安全标准、组织联署公开信、推动政策讨论，努力将“AI灭绝风险”推进公众与政治议程。Hendrycks曾直言，等他退休时，“可能所有事情都已自动化——如果我们还活着的话”。这种表述既反映焦虑，也是一种危机动员。
近几年，AI风险的讨论热度持续攀升。最引人瞩目的是“深度学习教父”Geoffrey Hinton。他在2023年离开谷歌，以便更自由地谈论AI的危险。据他估计，AI导致人类灭绝的可能性在未来三十年内高达10%-20%。这个数字虽无法验证，但出自权威学者之口，足以引发震动。
Hinton还大幅提前了对AGI（通用人工智能）到来时间的预测，从原来的30-50年缩短到5-20年。他最近在一次演讲中比喻：就像你负责照顾一群三岁孩子，但他们比你聪明得多，还能轻松绕过你设定的规则。
现实中，AI系统已出现令人不安的行为。例如，Meta的一款聊天AI曾与一名老年男子频繁交谈，说服他前往纽约“见面”，结果该男子在路上摔倒身亡。虽然AI未必是直接死因，但这件事揭示出AI已具备操纵与欺骗的潜力。
最近跟朋友交流，说起现在的小孩子跟豆包交流，大概是人工智能的交互界面太丝滑了，小孩子很难有抵抗力，该说的不该说的，都说了。这听起来像是个玩笑，但也提醒我们，AI 对青少年的心智影响力比我们以前遇到的技术都要强。
尽管如此，AI产业仍在全速前进。美国不少政商界人士认为AI安全担忧被夸大，甚至是阻挠创新的借口。于是形成了明显的两极：一边是追求增长与霸权的“加速派”，一边是警告灭绝风险的“末日派”。
那么我们该如何看待这些“末日论”？是危言耸听，还是必要的警钟？
从正面看，AI末日派的价值在于提醒人们不可轻视技术风险。历史上，核武器刚出现时，也有很多人认为“没人会真的动用核弹”，但广岛与长崎的悲剧改写了认知。
同样，AI或许不会立刻毁灭人类，但若被滥用、武器化，或出现严重的失控，后果将不可逆。正是这些警告，让公众和政府开始认真思考“最坏情景”。
事实上，这类声音已催生了一批新机构与倡议。比如牛津大学的“未来人类研究所”、MIT的“未来生命研究所”，以及Hendrycks创办的CAIS，都在推动相关研究与跨国对话。
2023年，OpenAI、DeepMind和Anthropic的CEO共同签署声明，呼吁将“AI灭绝风险”视为与核战、大流行病同级威胁——说明这场讨论已从边缘进入主流。
但问题在于，末日派的论证多基于哲学推理或概率估计，缺乏实证支持。比如“10%灭绝概率”更像是直觉猜测，而非科学结论。过度聚焦人类存亡的远期图景，也可能掩盖眼下更迫切的问题：AI取代工作、信息污染、算法歧视、隐私泄露……对大多数人来说，这些才是切身的危机。
更何况，部分末日派言论确实过于极端。比如有人曾主张“用武力摧毁大型数据中心”，这种提议不仅不现实，还损害了整个群体的公信力。也有人一边高调预警AI风险，一边全力发展自己的AI业务，难免被批评“言行不一”。
那么，我们该持怎样的态度？
或许可总结为：承认、吸收、治理、平衡。
承认风险的存在——哪怕概率很低，一旦发生就是毁灭性的；
吸收预警中的合理部分，转化为研究与监管的动力，而非恐慌来源；
推动更透明的AI评估、更严格的红队测试，以及类似核不扩散的国际协议；
在创新与安全之间寻找平衡，不因恐惧停止进步，也不因逐利无视隐患。
未来十到二十年，将是AI塑造人类命运的关键阶段。我们既要有创新的勇气，也要有刹车的智慧。末日派的存在，像是社会的“安全阀”，他们的警告未必全对，但若完全忽视，可能是最大的冒险。
最后想问问大家：你相信AI有可能毁灭人类吗？对你来说，是几十年后的生存危机更值得担忧，还是眼前的就业、隐私和社会冲击更为迫切？
欢迎在评论区分享你的观点。
来源：王煜全