何宝宏:大语言模型上半场已进入“垃圾时间”

B站影视 2025-01-08 19:42 3

摘要:“我们从刚刚过去这一年对大模型尤其语言大模型来看,训练的效果普遍不太好或者说能力的提升普遍不及预期。”在日前举办的第十九届中国IDC产业年度大典上,中国通信院云计算与大数据研究所所长何宝宏认为大语言模型的竞赛上半场进入“垃圾时间”。

作者:数字开物

“我们从刚刚过去这一年对大模型尤其语言大模型来看,训练的效果普遍不太好或者说能力的提升普遍不及预期。”在日前举办的第十九届中国IDC产业年度大典上,中国通信院云计算与大数据研究所所长何宝宏认为大语言模型的竞赛上半场进入“垃圾时间”。

面对OpenAI迭代周期延长、Gemini 2.0仓促发布等行业现象,他直指当下大语言模型的核心困境——Scaling law开始步入减速区间。从数据墙的出现到"死亡互联网理论"的挑战,从Agent的战略定位到智算基础设施的重构等,何宝宏对大模型的“上半场”和“下半场”进行了深入分享。

01

上半场进入“垃圾时间”,大模型的发展已经进入“下半场”

在分析当前大模型发展现状时,何宝宏指出,大语言模型的竞赛上半场进入“垃圾时间”。例如,Open AI的产品迭代速度在明显放缓,过去24个月迭代一次,现在已经到33个月了,而且效果还不及预期,谷歌的Gemini2.0仓促推出。

何宝宏指出,大模型的发展已经进入了“下半场”。他强调:“从刚刚过去的一年来看,大模型的训练效果普遍不及预期。重要原因之一是大模型的Scaling Law正在面临减速乃至失效的局面”。关于Scaling law,何宝宏强调这并非大模型独有现象,Scaling law不是仅仅在我们大模型领域,它是一个广泛的存在于现实世界的物理世界生命体、城市、公司,甚至在计算机。

他指出,所有的Scaling law随着时间的推移都会失效,不可能一直指数级增长,在大模型中,我们只是在重现这一现象。如果Scaling Law短期内失效,例如在0到3年内,通往AGI的道路可能会更加漫长。

在Scaling Law减速的背景下,各大机构纷纷调整策略,转向其他领域,一个方向是从训练转向推理,另一个方向是从大语言模型转向多模态其他模型。

关于从训练转向推理,何宝宏指出,今天大语言模型是基于人工智能两大分支之一的连接主义,就是数据,靠经验的,转向推理就是转向人工智能另外一条赛道,符号主义,基于数据主义又走向了符号主义,但是本质上来说它俩似乎是统一的,因为符号主义强调的是符号结构化逻辑,连接主义强调的是数据训练结果。

关于从大语言模型转向多模态其他模型,何宝宏指出,一是做应用,第二做视觉,做分布式大模型。不过,这条路还是崎岖拐弯的,还有很多事情需要我们做优化做改进。

2024年大模型赛道越来越卷,今年开源的进展也非常显著,开源模型的能力差相当于GPT3.5的80%,但成本却只有1/20。何宝宏指出,如果往前卷不动了,就卷工程化,“当前的大模型仍然像是一种工艺品,需要更多的工程化努力。” 他指出,未来的大模型需要更好的可解释性、更高的透明度、更强的长期推理能力以及更高的安全性和可靠性。他提到,从工艺到工程化的过程,需要在模型的压缩、轻量化以及组件化方面实现突破。

关于大模型的竞争方向,何宝宏指出:“从以往的拼性能逐渐转向拼性价比, 过去疯狂追求模型的性能和规模,但如今,如何以更低的成本实现更多的商业价值,成为关键问题”。何宝宏还探讨了人工智能“幻觉”现象。他指出:“幻觉并非完全负面,它是创意和创新的基础。” 他认为,在文学、艺术和科技领域,人工智能的“幻觉”可能带来更多的创意。

02 大模型撞上数据墙

2024年年底业内热议大模型撞上了数据墙,OpenAI 前首席科学家 Ilya预言“预训练时代将终结”。何宝宏直言,预训练的结束和转型方向跟自己是一致的观点。

在“大模型撞墙”的争论中,一些人认为预训练没结束,数据没有耗光,未来还可以使用视频数据以及人工智能合成数据,甚至是使用私域数据。何宝宏坦言,不赞成这种观点。他进一步指出,视频的数据如何拿来做训练,目前还没有方法。私域数据再大也是小数据,相对互联网的数据来说,私域数据只能做微调,只能在本地练。

至于合成数据,何宝宏直言:“互联网过去30多年积累的数据将在未来三到五年内耗尽。我们现在使用人工智能生成的数据进行训练,但这可能导致模型崩溃。” 他指出:“如果用1%的AI生成数据进行训练,模型经过五次迭代后就会崩溃。”此外,何宝宏还提到了一个新的理论:“互联网正在面临死亡威胁”,因为AI生成的数据正以惊人的速度增长,而人类生产的高质量数据则在快速减少。

03 下半场,以Agent为代表

展望未来,何宝宏认为,2025年Agent将成为焦点。他指出:“大模型的‘七年之痒’正在出现。下一步,我们需要从大模型转向Agent,而Agent是目标导向的,这与大模型的知识压缩属性形成对比。”

由于Agent是目标导向的,因此存在潜在挑战。Agent的思维方式、运作形式跟人类传统的智能思维放不太一样。“如何确保智能体的终极目标与人类的目标保持一致?如何监测和纠偏?”这些问题都需要深入研究。

下半场算力方面,何宝宏提出,下半场不能只追求高端算力,边缘算力、混合算力会越来越多。他还提到,AIDC生态会重构。“整个生态从上到下都在发生变化,从Agent到大模型,再到智算中心的基础设施,都在被重构,已经是技术密集型、资金密集型、能耗密集型、人才密集型。”

最后,何宝宏总结道:“从缺算到缺电,从液冷到智力基础设施,我们需要面向未来的长期规划。这不仅关乎技术创新,也关乎全球资源的合理利用”。如果按照当前趋势发展,到2030年,全球20%的电力可能会被人工智能数据中心消耗。下一步需要智力在线,今天的算力基础设施或者算力整体来看距离形成一个规模性的智算基础设施还有很长的路要走。

阅读最新前沿科技趋势报告,请访问欧米伽研究所的“未来知识库”

未来知识库是“欧米伽未来研究所”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问进入。

截止到12月25日 ”未来知识库”精选的100部前沿科技趋势报告

2024 美国众议院人工智能报告:指导原则、前瞻性建议和政策提案

未来今日研究所:2024 技术趋势报告 - 移动性,机器人与无人机篇

Deepmind:AI 加速科学创新发现的黄金时代报告

Continental 大陆集团:2024 未来出行趋势调研报告

埃森哲:未来生活趋势 2025

国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景

哈尔滨工业大学:2024 具身大模型关键技术与应用报告

爱思唯尔(Elsevier):洞察 2024:科研人员对人工智能的态度报告

李飞飞、谢赛宁新作「空间智能」 等探索多模态大模型性能

欧洲议会:2024 欧盟人工智能伦理指南:背景和实施

通往人工超智能的道路:超级对齐的全面综述

清华大学:理解世界还是预测未来?世界模型综合综述

Transformer 发明人最新论文:利用基础模型自动搜索人工生命

兰德公司:新兴技术监督框架发展的现状和未来趋势的技术监督报告

麦肯锡全球研究院:2024 年全球前沿动态图表呈现

兰德公司:新兴技术领域的全球态势综述

前瞻:2025 年人形机器人产业发展蓝皮书 - 人形机器人量产及商业化关键挑战

美国国家标准技术研究院(NIST):2024 年度美国制造业统计数据报告(英文版)

罗戈研究:2024 决策智能:值得关注的决策革命研究报告

美国航空航天专家委员会:2024 十字路口的 NASA 研究报告

中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告

GenAI 引领全球科技变革关注 AI 应用的持续探索

国家低空经济融创中心中国上市及新三板挂牌公司低空经济发展报告

2025 年计算机行业年度策略从 Infra 到 AgentAI 创新的无尽前沿

多模态可解释人工智能综述:过去、现在与未来

【斯坦福博士论文】探索自监督学习中对比学习的理论基础

《机器智能体的混合认知模型》最新 128 页

Open AI 管理 AI 智能体的实践

未来生命研究院 FLI2024 年 AI 安全指数报告 英文版

兰德公司 2024 人工智能项目失败的五大根本原因及其成功之道 - 避免 AI 的反模式 英文版

Linux 基金会 2024 去中心化与人工智能报告 英文版

脑机接口报告脑机接口机器人中的人机交换

联合国贸发会议 2024 年全球科技创新合作促发展研究报告 英文版

Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版

Gartner2025 年重要战略技术趋势报告 英文版

Fastdata 极数 2024 全球人工智能简史

中电科:低空航行系统白皮书,拥抱低空经济

迈向科学发现的生成式人工智能研究报告:进展、机遇与挑战

哈佛博士论文:构建深度学习的理论基础:实证研究方法

Science 论文:面对 “镜像生物” 的风险

镜面细菌技术报告:可行性和风险

Neurocomputing 不受限制地超越人类智能的人工智能可能性

166 页 - 麦肯锡:中国与世界 - 理解变化中的经济联系(完整版)

未来生命研究所:《2024 人工智能安全指数报告》

德勤:2025 技术趋势报告 空间计算、人工智能、IT 升级。

2024 世界智能产业大脑演化趋势报告(12 月上)公开版

联邦学习中的成员推断攻击与防御:综述

兰德公司 2024 人工智能和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版

Wavestone2024 年法国工业 4.0 晴雨表市场趋势与经验反馈 英文版

Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版

MicrosoftAzure2024 推动应用创新的九大 AI 趋势报告

DeepMind:Gemini,一个高性能多模态模型家族分析报告

模仿、探索和自我提升:慢思维推理系统的复现报告

自我发现:大型语言模型自我组成推理结构

2025 年 101 项将 (或不会) 塑造未来的技术趋势白皮书

《自然杂志》2024 年 10 大科学人物推荐报告

量子位智库:2024 年度 AI 十大趋势报告

华为:鸿蒙 2030 愿景白皮书(更新版)

电子行业专题报告:2025 年万物 AI 面临的十大待解难题 - 241209

中国信通院《人工智能发展报告(2024 年)》

美国安全与新兴技术中心:《追踪美国人工智能并购案》报告

Nature 研究报告:AI 革命的数据正在枯竭,研究人员该怎么办?

NeurIPS 2024 论文:智能体不够聪明怎么办?让它像学徒一样持续学习

LangChain 人工智能代理(AI agent)现状报告

普华永道:2024 半导体行业状况报告发展趋势与驱动因素

觅途咨询:2024 全球人形机器人企业画像与能力评估报告

美国化学会 (ACS):2024 年纳米材料领域新兴趋势与研发进展报告

GWEC:2024 年全球风能报告英文版

Chainalysis:2024 年加密货币地理报告加密货币采用的区域趋势分析

2024 光刻机产业竞争格局国产替代空间及产业链相关公司分析报告

世界经济论坛:智能时代,各国对未来制造业和供应链的准备程度

兰德:《保护人工智能模型权重:防止盗窃和滥用前沿模型》-128 页报告

经合组织 成年人是否具备在不断变化的世界中生存所需的技能 199 页报告

医学应用中的可解释人工智能:综述

复旦最新《智能体模拟社会》综述

《全球导航卫星系统(GNSS)软件定义无线电:历史、当前发展和标准化工作》最新综述

《基础研究,致命影响:军事人工智能研究资助》报告

欧洲科学的未来 - 100 亿地平线研究计划

Nature:欧盟正在形成一项科学大型计划

Nature 欧洲科学的未来

欧盟科学 —— 下一个 1000 亿欧元

欧盟向世界呼吁 加入我们价值 1000 亿欧元的研究计划

DARPA 主动社会工程防御计划(ASED)《防止删除信息和捕捉有害行为者(PIRANHA)》技术报告

兰德《人工智能和机器学习用于太空域感知》72 页报告

构建通用机器人生成范式:基础设施、扩展性与策略学习(CMU 博士论文)

世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版

人工智能行业应用建设发展参考架构

波士顿咨询 2024 年欧洲天使投资状况报告 英文版

2024 美国制造业计划战略规划

【新书】大规模语言模型的隐私与安全

人工智能行业海外市场寻找 2025 爆款 AI 应用 - 241204

美国环保署 EPA2024 年版汽车趋势报告英文版

经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展趋势 英文版

华为 2024 迈向智能世界系列工业网络全连接研究报告

华为迈向智能世界白皮书 2024 - 计算

华为迈向智能世界白皮书 2024 - 全光网络

华为迈向智能世界白皮书 2024 - 数据通信

华为迈向智能世界白皮书 2024 - 无线网络

安全牛 AI 时代深度伪造和合成媒体的安全威胁与对策 2024 版

2024 人形机器人在工业领域发展机遇行业壁垒及国产替代空间分析报告

《2024 年 AI 现状分析报告》2-1-3 页.zip

万物智能演化理论,智能科学基础理论的新探索 - newv2

世界经济论坛 智能时代的食物和水系统研究报告

生成式 AI 时代的深伪媒体生成与检测:综述与展望

科尔尼 2024 年全球人工智能评估 AIA 报告追求更高层次的成熟度规模化和影响力英文版

计算机行业专题报告 AI 操作系统时代已至 - 241201

Nature 人工智能距离人类水平智能有多近?

Nature 开放的人工智能系统实际上是封闭的

斯坦福《统计学与信息论》讲义,668 页 pdf

国家信息中心华为城市一张网 2.0 研究报告 2024 年

国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版

大模型如何判决?从生成到判决:大型语言模型作为裁判的机遇与挑战

毕马威 2024 年全球半导体行业展望报告

MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119

DeepMind 36 页 AI4Science 报告:全球实验室被「AI 科学家」指数级接管

《人工智能和机器学习对网络安全的影响》最新 273 页

2024 量子计算与人工智能无声的革命报告

未来今日研究所:2024 技术趋势报告 - 广义计算篇

科睿唯安中国科学院 2024 研究前沿热度指数报告

文本到图像合成:十年回顾

《以人为中心的大型语言模型(LLM)研究综述》

经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版

波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告 英文版

理解世界还是预测未来?世界模型的综合综述

GoogleCloudCSA2024AI 与安全状况调研报告 英文版

英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施

花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告

国际可再生能源署 IRENA2024 年全球气候行动报告

Cell: 物理学和化学 、人工智能知识领域的融合

智次方 2025 中国 5G 产业全景图谱报告

上下滑动查看更多

来源:人工智能学家

相关推荐