摘要:“从莱特兄弟之后我们就知道怎么造飞机,只是引擎做大一点,翅膀做宽一点,轮子做好一点,材料做轻一点。但从学术的角度,大模型没有本质变化,这不是学术该做的事”。
“从莱特兄弟之后我们就知道怎么造飞机,只是引擎做大一点,翅膀做宽一点,轮子做好一点,材料做轻一点。但从学术的角度,大模型没有本质变化,这不是学术该做的事”。
在首届浦江 AI 学术年会上,香港大学计算与数据科学学院院长、AI 讲座教授马毅用这个生动的比喻,道出了当前人工智能发展的关键问题。
在香港中文大学副教授、上海人工智能实验室领军科学家成宇的主持下,香港大学计算与数据科学学院院长、AI 讲座教授马毅,北京大学智能学院副院长、教授陈宝权,上海人工智能实验室主任助理、领军科学家乔宇,稀宇科技创始人闫俊杰,以及阶跃星辰首席科学家张祥雨,这些来自学界和产业界的专家学者和企业家,展开了一场关于 AI 发展方向与挑战的深度对话。从大模型的局限性到未来突破的可能性。
“白盒”与“黑盒”之争在人工智能(AI)的发展研究中,“白盒”和“黑盒”这两个术语通常用来描述模型的可解释性或透明度。
在浦江 AI 学术年会上,香港大学的马毅教授在他的分享中提到人工智能的发展应该追求将模型变成“白盒”,即模型的内部工作机制和决策过程应该是清晰和可解释的。
马毅认为,随着人工智能的功能越来越强大,它们做的事情越来越多,甚至可能对人类社会产生重大影响,因此不能让这些模型继续作为“黑盒”存在。科学家有责任尽快搞清楚这些模型到底在做什么,它们的工作原理是什么,这是科学的问题、数学的问题、计算的问题。
“计算机图形学的目的是要通过一个结构化的表述,描述这个世界,图形计算实际上就是一个世界模拟器。”北大教授陈宝权认同香港大学马毅教授关于“白盒”理念,他认为,以前我们构建一个世界描述时,是人的智能,我看到了这个世界,人来分解,它的几何是什么样子,它的过程,把牛顿定力引过来,这都是人的智能逼近现实世界。
“但我觉得有了深度学习、大模型以后,逼近的过程,如果我们把所谓的‘白盒’和数据的学习结合起来的话,我们是可以通过基于某种学习的方式来推动的逼近,就代替人的工作。”陈宝权说
不过, 稀宇科技创始人创始人闫俊杰则认为:“我还是比较相信更加黑盒的做法。‘智能’这个词也是任人打扮的小姑娘,不同的人对智能的定义非常不一样。如果把智能当成是说要造出来像人这样的 Intelligence,那可能是需要白盒。如果把智能定义成帮助人完成一些事,它不需要白盒,黑盒没有任何的问题。”
对于这场争论,马毅教授给出了他的观察:“现在大家的方法大同小异,结果也半斤八两。最后看大家具体的数据和工程的细节、界面做的好不好,或者 Agent(智能体)的想法是不是比较新颖。”
大模型发展遇到瓶颈?在讨论中,多位专家深入分析了当前大模型发展面临的挑战。
阶跃星辰首席科学家张祥雨从实践经验出发指出:“过去两年大家都知道做视觉 foundation model 很痛苦。一度我们出现了很多方法,也有无数的机构投入大量的资源去做,但你会发现这件事情都是不可 scale up(规模化)的。我们看到世界头部公司在堆砌数据到万亿以上时,也发现这条路线遇到障碍。”
“攀登 ScalingLaw 的时候,我们发现有趣的现象,随着模型的语言能力不断的 Scaling,大模型归纳相关的能力、语言能力、创作能力也在快速提升,而且到现在也没有停下来。但它演绎方面的问题,包括推理、数学很早停止,随着模型 Slide 进一步提升,它不仅没有增长,反而在下降。”张祥雨认为, 对于演绎的问题,用联合分布的方式估计一个随机过程非常困难,因为到后面会非常发散。很多推理类的问题根本不需要对推理链条所有的分布进行准确的估计,只需要达到目标就可以了。
上海人工智能实验室主任助理、领军科学家乔宇从更宏观的角度这样分析道:“今天我们已经感受到在目前通往 AGI 的路线上,至少还有很多难题不是现在单纯靠扩大模型规模、数据算力能力就能解决的。这里面有很多的机会,我们需要把最核心、最关键的问题凝练出来。”
o1 与 Sora:发展的新范式之争2024年,OpenAI 发布的o1大模型和视频生成模型 Sora , Anthropic 发布的大模型 Claude 3 引起了广泛关注,而 Google DeepMind 的 Gemini 2.0 也在技术上取得了显著进展。当下,专家们就 AI 领域最受关注的OpenAI o1 和 Sora 展开了深入探讨。
阶跃星辰张祥雨从技术本质出发分析道:“o1 范式是一个非常重要的突破,它和原来 GPT 的范式并不是相互取代,而是用非常聪明的方法解决大家之前在 Scaling Law 上遇到的种种问题。甚至这套算法可以让 Scaling Law 再持续一代,但它能不能解决所有通向 AGI 的问题,远远不够。”他特别指出,当前的大模型在推理能力方面遇到了明显瓶颈,“随着模型的语言能力不断 Scaling,创作能力在快速提升,但演绎方面的问题,包括推理、数学很早就停止了增长。”
稀宇科技闫俊杰则从数据和算力的角度提出了不同观点:“OpenAI o1 本质上只是把 Scaling Law 搬到了后面的 RL 里面去。因为算力还在涨,但互联网的数据增长已经遇到天花板,清洗完可能就 20 万亿的 Token。这种情况下,把关注点转向强化学习似乎是必然的选择。”
对于近期引发全球关注的视频生成模型 Sora,北大教授陈宝权认为这只是开始:“Sora 现在生成的是二维的视频,还不是三维的。未来,必然会实现三维生成,加上时间就是四维,再加上交互就是更多维度。未来的视频生成不仅仅是观看,而是可以让用户走进场景,实现真正的交互。”
香港大学的马毅教授则从更深层次指出了当前技术发展的局限性:“从技术角度,Sora 没有任何对我来说新的东西。无论是数据拟合还是强化学习的微调,这些机制都是生物在用的。现在的差异更多体现在工程实现层面,比如训练过程中强化学习的比例、数据的选择等等,这些都已经变成了商业机密,但方法本身并没有真正的突破。”
2025 年机会和方向在哪里?“今天 o1 出来之后,我想在座领导和嘉宾都会被外界问到一个问题,就是这件事情为什么没有出在中国?下面哪个 Token 能出在中国?中国还有没有机会?”上海人工智能实验室的乔宇认为,在通往 AGI 的路线上,我们还缺乏 3 到 4 个重要突破:“大家想一下这个模型强大到现在之后,再朝上面演化,一定是朝一些更高级的智能能力演化。推理确实是我们做数学高阶推理的第一部分,事实上人还有其他的高阶推理的能力,包括情感、伦理的能力,包括一些抽象思维、理论思维的能力。”
对于 2025 年的 AI 发展,与会专家都表达了自己的期待。香港大学的马毅教授提出了“两朵乌云”的观点:“一个是下一代智能系统一定是有自主连续增量学习的系统,更加接近于自然界的动物、人的学习,就个体智能。现在我们做了一堆的群体智能,机器学习,我们已经实现了物种的智能,大模型、百模大战、群模乱舞。第二,必须要取代 BP(反向传播算法,这是一种在神经网络中用于训练模型的关键算法),因为自然界做不了这个事,为什么现在资源这么消耗?我们离自然界的能耗还差了 8、9 个数量级。”
北大的陈宝权则关注物理 AI 的发展:“黄仁勋说基于物理真实的 AI,而且还特别说到一定的路径叫反向物理。这个说到我心坎上去了。我认为我们对物理世界的规律已经有很好的掌握了,但掌握没有很好的用到大模型里面去。我觉得白盒子就是脚手架,我们需要构建一个好的脚手架。”
阶跃星辰首席科学家张祥雨则提出了三个具体期待:“第一,在新范式的加持下,希望看到 ScalingLaw 跟智能程度能够再次成正比。第二,多模态大模型能够真正做到理解和生成的一体化,能够在视觉空间完成人类具有的视觉推理。第三,期待明年我们能出一个真正的 AI Native,能解决大家真实需求的产品。”
“模型如何跟外界交互过程中在线主动地引出自己,同时有个内生的奖励性鼓励他不断和外界的交互,我觉得这是通向下一步的关键,是我们必须要关键突破的技术。”张祥雨说。
来源:周到客户端