摘要:当然,论科研影响力,我们也不能只关注论文发表数量,还要看论文平均引用次数。如果论文基数很大,论文平均引用次数过小,则说明我们的科研投入可能大部分拿去灌水了,做出的高影响力研究太少,这种只能自欺欺人,无法形成真正的、足够大的国际影响力。
事情是这样的,我今天刷信息流的时候注意到,蚂蚁集团今天发布了 2024 科技生态白皮书,展示了他们在论文、专利、开源、标准、产学研等几个方面的进展。
这本来也没啥,在我的印象里,蚂蚁应该是跟金融科技密切相关的,我本来是想进去看一眼金融科技领域的进展的。
结果,我看到这么一句——
蚂蚁集团 2024 年发布的论文中,有 46% 是人工智能方向。
我直接一脸问号。
还有一句话,让我也印象深刻——
蚂蚁集团 2024 年在国际顶会上发表论文超过 300 篇。
这个顶会论文产出量,大大超出了我此前的认知。
我继续深入挖了一下,发现不止是蚂蚁,发现如今中国的科研影响力可能要比很多人想象中的要强大很多。
有个数据,来自美国乔治城大学 Emerging Technology Observatory 数据库——
数据显示,过去五年(17~22 年),全球 AI 领域 134 万篇论文,中国的论文发表数量第一,比美国要高出接近 50%。
当然,论科研影响力,我们也不能只关注论文发表数量,还要看论文平均引用次数。如果论文基数很大,论文平均引用次数过小,则说明我们的科研投入可能大部分拿去灌水了,做出的高影响力研究太少,这种只能自欺欺人,无法形成真正的、足够大的国际影响力。
在平均被引用次数上,中国平均每篇论文被引用 22 次,是美国的一半,印度的 2 倍。说明我们的论文质量,与美国仍有不小的客观差距,但也不能走极端的否认我们仍然有大量高影响力的研究。
比如,中国科学技术信息研究所《中国科技论文统计报告 2024》分析过高被引论文数量——
中国热点论文数世界第一(48.4%),高被引论文数世界第二(33.8%),以及计算机科学等 7 个学科论文被引次数世界第一。
以上数据综合说明,我国的学术影响力已经相当可观。
如果聚焦到人工智能赛道后,还能发现一个更有趣的观测——
根据斯坦福 AIIndex2024 总结的十大趋势中第二条,当下,工业界正在主导人工智能前沿研究。
2023 年,业界一共发布了 51 个著名的机器学习模型,而学术界只贡献了 15 个。产学合作发布了 21 个著名模型。共发布了 149 个基础模型,108 个新发布的基础模型来自工业界,28 个来自学术界。
需要强调的是,这个结论不仅仅是在说美国。
澎湃新闻统计过全球范围内的工业界 Top10 AI 研究机构。
腾讯、阿里、华为、国家电网、百度占据了一半的位置。
中国的互联网大厂,如今已成长为不容忽视的中国科研力量,不再只是商业公司。
越来越多的成绩表明,中国的互联网大厂在全球前沿科技论文中的贡献越来越大,影响力不断攀升。
我扫描了一下刚刚召开不久的 AI 顶会 NeurIPS 2024,发现字节跳动、蚂蚁集团、腾讯等均有数十篇论文被收录。
而其他主流 AI 顶级学术会议如 ACL、KDD、CVPR、ICML 等,你也会发现,除了清华、浙大等高校外,阿里、蚂蚁、字节、腾讯、百度、小米等大量互联网大厂身影频出,在 AI 这种重算力、重资金的研究赛道,工业界科研团队的含金量在逐渐上升。
再回看蚂蚁 2024 科技白皮书披露的信息,也可以佐证这一点。
从 2024 年 1 月 1 日至 11 月 30 日,蚂蚁集团在国际顶会上发表论文 300+ 篇,被收录为 Oral(现场分享)的论文 35 篇,AI 占比最大 46%,其次是数据库占比 29%。
借着蚂蚁这波统计,我简单整理了下其今年在顶会上论文发表情况:
CVPR 2024:211532 篇论文投稿,接收 2719 篇,录用率 23.6%,蚂蚁 27 篇入选。ICML 2024: 9473 篇论文投稿,接收 2609 篇,录用率为 27.5%,蚂蚁 11 篇入选。ICLR 2024:7262 篇论文投稿,录用率 31%,蚂蚁 15 篇入选,1 篇 Oral,3 篇 Spotlight。ACL 2024: 约 5000 篇,接收 940 篇,录用率在 21%-23% 之间,蚂蚁 10 篇入选,5 篇被主会(Main)收录。KDD2024:2046 篇投稿,接收论文 409 篇,录用率为 20%,蚂蚁 22 篇入选。NeurIPS 2024:15671 篇投稿,录取率为 25.8%,蚂蚁 20 篇入选。IWQoS 2024:326 篇投稿,录用 81 篇,录用率为 24.8%,蚂蚁拿下 Best paper Award。VLDB2024:全球数据库顶会,蚂蚁 9 篇入选不止论文数量超出我此前的认知,我发现,其对 AI 研究方向的覆盖面也相当广泛。
以 AI 相关的论文为例。
光大模型幻觉相关的我就看到好几篇。比如——
"Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning"(基于强化学习的检索增强大模型可信对齐)
这篇论文发表在 ICML2024 上,旨在减少模型幻觉。这篇论文的核心工作就是提出一种可信对齐算法,让大语言模型更依赖外部检索到的可靠信息,减少因模型“幻觉”导致的错误。我们都知道,在金融领域,准确性至关重要。这个方法会大大提高人们对模型作为金融助手的信任度,创建可信的 Agent。
"Unified Hallucination Detection for Multimodal Large Language Models ",这篇发表在 ACL'24 上,目的是解决多模态大语言模型(MLLMs)的幻觉问题。
此外,还有非常硬核的优化器 + 大模型高性能训练相关的——
"Rethinking Memory and Communication Costs for Efficient Large Language Model Training" 这篇发表在 NeurIPS 2024,重新审视显存和通信成本对 LLM 高效数据并行训练的影响,提出了一个新策略 PaRO(部分冗余优化器),在 LLM 的一些训练场景下,速度比 ZeRO-3 最快提高到 266%。
还有这篇研究深度神经网络优化器的,"A Layer-Wise Natural Gradient Optimizer for Training Deep Neural Networks",同样发表在 NeurIPS 2024 上,提出了一种高效的自然梯度下降(NGD)近似方法,显著降低模型训练的计算成本。
另外,我还发现一篇很有意思的工作,蚂蚁集团为第一作者,与武汉大学遥感学院合作的一篇论文,发表在了 CVPR2024 上,介绍了蚂蚁自研的多模态遥感基础模型 SkySense。
"SkySense:A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery / SkySense"
它是迄今为止国际上参数规模最大、覆盖任务最全、识别精度最高的多模态遥感基础模型,在国际权威测试场景里都全面超越同类模型。
我查了一下,SkySense 可以用在城市规划、森林保护、应急救灾、绿色金融、农业监测等领域,而且目前已经可以通过蚂蚁内部 MEarth 平台提供数据与识别服务。
这些都是推动 AI 在真实场景中规模化落地应用的研究方向。
看完蚂蚁科技生态白皮书,我发现他们被收录的 300 多篇顶会论文,研究领域主要聚焦在 AI 可信性、经济性、效率和安全科技这四个方向。而这四个方向,基本也决定了 AI 能否在降低成本、提升效率、增强可信性和安全性的基础上,最终实现规模化落地应用,是 AI 技术走向成熟的关键。
以前,我们常说自己是追赶者,甚至会反思、批判我们的科研体系。如今,来自工业界的中国科研力量异军突起,在世界各大顶级学术会议上各放光彩。
这一趋势背后除了动辄几百亿的科研投入外,大厂企业与高校深度合作也是强力催化剂,就像蚂蚁多篇 paper 都是校企合作的成果。以前,我们常说工业界与学术界之间太过割裂。如今,流行一个词——跨界,顶尖科研人才跨圈,同时活跃于产业界与高校,清华大学教授陈文光曾担任蚂蚁技术研究院院长,中山大学教授林倞曾担任商汤研究院院长,上海财经大学教授陆品燕兼任华为理论计算机实验室主任,研究和落地两手抓。
我们要反思、谦卑,但也要给自己的进步点赞、自信。
期待有一天,我们的论文平均被引次数也能成为绝对第一;期待有一天,我们能成为全球科技创新的引领者。
参考文献
https://almanac.eto.tech/topics/ai
https://mp.weixin.qq.com/s/c_7iX_GUbP60UW0aoFuwyw
https://iiis.tsinghua.edu.cn/show-10617-1.html
https://mp.weixin.qq.com/s/8hfOQm4FdG5SvXUxfTuu6w
https://mp.weixin.qq.com/s/79U_uGalZtO5HN0JcOyoYw
https://mp.weixin.qq.com/s/CMuuFZSl1q8K1xrd7PAo1A
https://mp.weixin.qq.com/s/F5-lOaNfozPNGsBja2MdnQ
https://mp.weixin.qq.com/s/GGyETplFOUbh2rWUzcny7A
来源:夕小瑶科技说一点号