摘要:最近,罗福莉出现在小米MiMo大模型的论文里,她是通讯作者,被列在作者最后一位。不过这篇论文由“北京大学计算机学院多媒体信息处理国家重点实验室”和“小米大模型核心团队”联合署名。论文也没有标注罗福莉属于小米大模型团队。
还记得去年底引发热议、上热搜的“95后AI天才少女”罗福莉吗?
一度有传闻称罗福莉被雷军千万年薪挖角,但久久没有下文,双方都没有官宣,到底有没有入职小米成了迷。
最近,罗福莉出现在小米MiMo大模型的论文里,她是通讯作者,被列在作者最后一位。不过这篇论文由“北京大学计算机学院多媒体信息处理国家重点实验室”和“小米大模型核心团队”联合署名。论文也没有标注罗福莉属于小米大模型团队。
该论文题为《通过对齐训练与推理路由机制稳定MoE模型的强化学习》。
摘要为:
强化学习(RL)已成为提升大语言模型能力的关键技术。然而,在混合专家(MoE)模型中,路由机制常引发训练不稳定性,甚至导致灾难性的RL训练崩溃。我们分析了MoE模型的训练-推理一致性,发现两阶段的路由行为存在显著差异。此外,即使在相同条件下,路由框架在重复前向传播中也可能产生截然不同的专家选择结果。
为解决这一根本性不一致问题,我们提出Rollout Routing Replay(R3)方法:记录推理阶段的路由分布并在训练中重放。R3能显著降低训练与推理策略的KL散度,缓解极端偏差,且不牺牲训练速度。多场景实验表明,R3成功稳定了RL训练,避免崩溃,性能优于GSPO、TIS等现有方法。我们认为,这项工作为MoE模型的RL训练稳定性提供了新的解决方案。
出现在小米大模型抬头的论文里,是否意味着罗福莉已加盟小米了?
小米大模型的最新进展是,9月19日,小米正式开源首个原生端到端语音模型——Xiaomi-MiMo-Audio,它基于创新预训练架构和上亿小时训练数据,首次在语音领域实现基于ICL的少样本泛化,并在预训练观察到明显的“涌现”行为。
罗福莉的知乎在9月份赞同了一条小米语音大模型开源的帖子。
论文平台arxiv.org显示,小米大模型团队核心成员里没有Fuli Luo,但独特的一点是,除了成员Cici外,其他人都是带姓的全名。
社交平台有网友讨论称,这个cici就是罗福莉在小米的化名。
学术论文提交和评审平台openreview显示,罗福莉介绍是:2025年至今是Individual Researcher,独立研究员。
此前,天眼查显示,罗福莉与DeepSeek创始人梁文锋同为宁波程采旃蒙企业管理咨询合伙企业(有限合伙)合伙人。由梁文锋、裴湉、罗福莉等共同出资,其中梁文锋出资比例为96%,罗福莉出资比例为0.1%。
目前上述信息未有变动。
今年2月份,媒体报道称,在小米内部员工系统没有显示“罗福莉”相关信息。
超角度今天获悉,至今小米员工系统仍无“罗福莉”名字的员工。
既然不是小米员工,为什么出现在小米论文里?罗的身份就只有3个可能了:罗福莉是独立研究员,与小米合作写论文;她是上述北大计算机学院实验室的人,从北大毕业,又回去做研究;她以化名在小米任职。
总之,跟小米有关系。
据悉,通讯作者(Corresponding author)指科研课题的总负责人,主要负责课题的经费筹措、研究设计与论文把关,对研究成果的真实性、学术规范及法律责任承担首要责任。通讯作者需为论文作者之一,同时承担稿件的通信联络职责。
这很符合罗的身份,从北大毕业,负责联络北大实验室,至少在这篇小米大模型论文课题担任负责人。
罗福莉相关经历:
罗福莉自2022年离开达摩院,后加入DeepSeek;
2024年12月,网传罗福莉被小米创始人雷军以千万年薪招募,担任小米AI实验室的大模型团队负责人。
12月31日,罗福莉的高中班主任称,罗福莉还没决定去小米,还在考虑。
2025年2月,罗福莉亲属透露,罗福莉已到新岗位上班。
2月18日,罗福莉在朋友圈发文呼吁:“请互联网还我一片安安静静做事的氛围吧!几年前就说过我并非天才少女,神化一个人的结果就是捧得多高摔得多重! ”
来源:科技超前线