将DeepSeek带到视觉领域，杭州90后博导带领一群95后发布最新成果

摘要：东坡肉、蘑菇炒青菜、清蒸鲫鱼、虾仁豆腐……做了满满一桌菜，拍张照片扔给AI，问它：图片里的哪种食物蛋白质含量最高？哪道菜尿酸偏高的人不宜多吃？

橙柿互动记者童蔚

东坡肉、蘑菇炒青菜、清蒸鲫鱼、虾仁豆腐……做了满满一桌菜，拍张照片扔给AI，问它：图片里的哪种食物蛋白质含量最高？哪道菜尿酸偏高的人不宜多吃？

AI深度思考了几秒钟，打出推理全过程，最后在图片上将答案圈了出来。

这是学会推理的多模态大模型，未来在日常生活中的一个应用小场景。

此前，这种“长眼睛”、擅长推理的AI还停留在想象阶段。不过最近，来自杭州Om AI Lab的一群95后，已经成功地将DeepSeek-R1的训练方法，从纯文本领域迁移到视觉语言领域，打开了多模态大模型的更多想象空间。

他们还将这个名叫VLM-R1的项目开源，发布在全球最大的代码托管平台GitHub上，上线仅一周，就获得各国开发者给出的2.7k Stars（星标），并在2月21日登上热门趋势榜。这一成绩在这个开源社区里堪称亮眼。

VLM-R1上线GitHub一周的Star（星标）数据曲线

2月21日上了GitHub热门趋势榜

这支研发团队的带头人，是个90后——Om AI Lab的创始人赵天成博士，他同时也是浙江大学滨江研究院Om人工智能中心主任、博士生导师。

将教会DeepSeek-R1推理的方法

带到机器视觉领域

DeepSeek-R1模型的独特之处，在于DeepSeek对通用的模型推理步骤进行了调整。此前，模型在提升推理能力时，通常依赖“监督微调”（即SFT，监督式微调）这个环节。简单点说，就是拿一个已经学了不少东西的大模型，用一些特定的、标记好的数据，来教它如何更好地完成某个任务。这就好比你已会做菜，但具体到川菜或徽菜，还需通过专门的练习来掌握烹饪技巧。

而DeepSeek-R1在训练过程中直接跳过了这个环节，进入“强化学习”阶段，探索大模型在没有监督数据的情况下，通过纯强化学习进行自我进化。这种创新性的强化学习方法，有个专业名词，叫群组相对策略优化（Group Relative Policy Optimization,GRPO）。

GRPO已经帮助DeepSeek-R1学习推理，那是否也能帮助AI模型在一般计算机视觉任务中表现得更强？

Om AI Lab研发团队反复实验后的答案是：可以。

他们在一个视觉定位任务中，训练了通义开源视觉理解模型Qwen2.5-VL。在此基础上，同时用R1方法和SFT方法进行对比。目前得出的结论是：R1方法在各种复杂场景下，都能保持稳定的高性能。这在实际应用时至关重要。

这是一张街景照片，给AI的任务是：定位出图中可能对视障人士行走造成危险的物体。

在路边人行道的场景里，人类能想到对视障人士造成行走障碍的，通常是石墩子、公交站牌、行人等，这些就是可以提前标记好的“数据”。但在这张图中，出现了一个比较特殊的情况——台阶。

从赵天成团队的实验看，经过R1方法训练的AI模型，能够成功推理出台阶在这个场景中会对视障人士造成危险。

“对人类来说，这属于常识性推理，再容易不过。但对于此前传统的计算机视觉模型而言，这其实非常难。”赵天成解释。

又比如下面这张图，桌子上放着山药、鸡蛋饼、毛豆、青菜、咖啡和橙子，让AI定位图中含维生素C最多的食物。

使用R1方法训练的AI模型，很快锁定了橙子并附上思考过程。“以前它直给答案，不会告诉你解题思路，且错误率偏高，比如10道题最多答对四五题，而R1方法训练的，能答对七八题。”

此外，机器学习领域有一种很常见的情况：用任务A去训练模型，随着训练步数（训练模型所执行的迭代次数）的增加，在跟A没有那么相似的任务B上，它的性能会变差（图中红色曲线）。“有点‘摁了葫芦起了瓢’的意思。所以以前做多任务时，还要精心控制任务间的比例。”而使用R1方法训练的AI模型（图中绿色曲线）并不会出现这种趋势，这意味着R1方法能帮助模型真正“学会”理解视觉内容，而不是简单地记忆。