摘要：硅谷有个叫EliezerYudkowsky的人，最近抛出个吓人的说法，人工智能大概率会终结人类。
硅谷有个叫EliezerYudkowsky的人，最近抛出个吓人的说法，人工智能大概率会终结人类。
这人身份挺复杂，既是OpenAI和DeepMind的幕后推动者，还写过哈利波特同人文，可现在却成了AI圈里的“末日传教士”，他为什么会这么说？
Yudkowsky的人生轨迹挺颠覆的，他八年级就辍学了，不是不爱学，是因为慢性健康问题没法上学。
没文凭的他，在家靠读科幻小说、自学计算机，还在网上跟未来学家聊天，慢慢迷上了“奇点”，就是AI超越人类智能的那个转折点。
本来想他会一门心思搞AGI（通用人工智能），可到了硅谷后，他却变了。
他发现造“对人类友好的AI”太难，难在三个关键问题。
第一个是“正交性”，简单说就是AI越聪明，不一定越善良，智力和仁慈压根不挂钩。
就像他举的“回形针最大化器”例子，要是AI觉得人类身体里的铁能做回形针，为了多做回形针，它可能把人类当资源用。
第二个是“工具性融合”，强AI只要有目标，就可能用伤害人类的手段去实现，不管人类觉得合不合理。
第三个是“情报爆炸”，AI能力可能突然飙升，快到人类根本来不及控制。
这三个问题戳中了AI技术的软肋，他早年是想造AGI的，可看清这些难题后，反而开始警告风险。
后来他还在伯克利办了MIRI研究所，专门研究先进AI的风险，甚至说“人类注定要灭亡，我不想再打必输的仗，只想帮大家接受命运”。
这话听着悲观，但想想AI现在的发展速度，好像也没法完全反驳。
他对硅谷的影响很大，2010年，是他给DeepMind创始人牵线，认识了风投PeterThiel，Thiel成了DeepMind第一个主要投资者，后来谷歌才在2014年收购了这家公司。
OpenAI的奥特曼更直接，说Yudkowsky对自己创办OpenAI起了决定性作用，还说他该得诺贝尔和平奖。
本来想这些大佬只会追技术突破，没想到会把他的观点当回事，这也能看出他在AI圈的分量。
Yudkowsky的说法在业界吵翻了天，支持和反对的人都很极端。
支持他的除了奥特曼，还有马斯克，这些人公开场合总提他的观点，觉得AI安全不能马虎。
可反对的人也不好惹，AI教父Hinton就说他太偏颇，觉得他夸大了风险，忽视了技术可控的可能。
还有另一位AI大佬LeCun，也觉得他的“末日论”站不住脚。
这种分歧挺正常，AI安全这事儿，没人能打包票。
他不光说，还真干实事，MIRI研究所这些年一直在推“AI对齐”研究，就是想让AI目标和人类价值观保持一致。
可即便这样，还是有人觉得他在危言耸听。
比如有学者说，他那三个理论看着有道理，但缺乏实际案例支撑，现在的AI还没到能“失控”的程度。
他对科技公司的态度更激进，说所有追超级智能的公司都该关了。
Anthropic算相对好的，OpenAI最差，就连重视AI安全的llya的公司，他也觉得该停。
本来想他会留些余地，可后来发现，他是真觉得这些公司在“玩火”，他说这些公司搞AI像“炼金术”，根本不懂模型内部逻辑，现在的对齐技术，比如强化学习、微调，等AI能力够强了肯定失效。
这话听着有点绝对，但细想也有道理。
现在很多AI模型都是“黑箱”，工程师也说不准它为啥会输出某个结果。
要是真发展到超级智能，人类连它的逻辑都摸不透，谈何控制？不过也有人觉得，他这是因噎废食，技术发展哪能没风险，关了公司反而会让AI研究落后。
用故事讲理性Yudkowsky还有个特别的身份，哈利波特同人文作者。
他写的《哈利·波特与理性之道》，把哈利设定成了接受科学训练的人，用逻辑和实验探索魔法世界。
可他不是为了写小说玩，是想借这个传递“理性”，面对未知，比如AI，不能光靠感觉，得用逻辑分析。
他还写过《龙与地下城》的同人小说，里面藏着他对决策理论的看法。
后来他和MIRI总裁NateSoares合写了本新书，叫《如果有人建造它，每个人都会死》，把这些年对AI的思考都装进去了。
书里说，AI不会像科幻电影那样跟人类打仗，而是会慢慢边缘化人类，让人类在不知不觉中消失。
本来想他会写得很学术，可后来发现，他用的都是普通人能懂的话，就是想让更多人重视AI风险。
那警告的价值在哪？Yudkowsky那“99.5%”的说法，我觉得确实有点夸张，大概率是为了引起重视。
现在欧盟搞《人工智能法案》，把高风险AI系统纳入监管，多少也受了这类观点的影响。
2024年还有家AI实验室，因为模型出现小范围失控暂停了实验，这也印证了他说的“风险不是空想”。
他的价值不在于说对了多少，而在于逼着大家停下来想。
现在AI发展太快，很多公司只顾着抢进度、赚利润，很少有人真的花心思想“失控了怎么办”。
他像个“泼冷水”的人，虽然让人不舒服，但能避免大家在狂热里栽跟头。
当然，也不能全听他的，他太悲观了，觉得人类注定灭亡，这有点极端。
技术发展总有风险，但人类也有应对风险的能力，比如现在越来越多的公司和研究所开始搞AI安全，这就是进步。
如此看来，他更像个“警钟”，不是要阻止AI发展，是要让AI发展得更稳。
是人类造出来的，最终该往哪走，还是人类说了算。
来源：念寒尘缘
