摘要：这项由明灯科技（Mininglamp Technology）DeepMiner-Mano团队完成的研究发表于2025年9月，论文编号为arXiv:2509.17336v1。研究团队包括付天宇、苏安阳、赵晨旭、王汉宁、吴明辉等多位研究人员，有兴趣深入了解的读者可

这项由明灯科技（Mininglamp Technology）DeepMiner-Mano团队完成的研究发表于2025年9月，论文编号为arXiv:2509.17336v1。研究团队包括付天宇、苏安阳、赵晨旭、王汉宁、吴明辉等多位研究人员，有兴趣深入了解的读者可以通过该编号查询完整论文。

想象一下，如果你的电脑助手不仅能听懂你的话，还能像人一样"看懂"屏幕上的内容，并且自动帮你完成各种复杂的操作任务，那会是什么样的体验？明灯科技的研究团队就在朝着这个目标努力，他们开发了一个名为Mano的智能助手系统。

这个系统就像是给电脑装上了一双"智慧的眼睛"和一双"灵巧的手"。当你告诉它"帮我在亚马逊上找一个4星以上、15美元以下的夜灯，然后买两个放到购物车里"时，Mano能够自动打开浏览器，在复杂的网页界面中准确找到搜索框，输入关键词，筛选商品，判断评分和价格，最后完成购买操作。整个过程就像有一个非常熟练的助手在帮你操作电脑一样。

传统的电脑自动化程序往往需要程序员事先编写好每一个步骤的代码，就像给机器人编写详细的操作手册一样。但现实中的网页和软件界面千变万化，今天的网页布局和明天的可能完全不同，这就让传统方法显得力不从心。Mano的创新之处在于，它能够像人一样通过"看"屏幕截图来理解当前的界面状态，然后自主决定下一步应该怎么做。

研究团队面临的最大挑战是如何让人工智能真正理解图形用户界面。这就好比教一个从未见过现代电子设备的人如何使用智能手机一样困难。界面上的按钮、文本框、图标、菜单等元素对人类来说一目了然，但对机器来说却是复杂的像素组合。更困难的是，不同网站和软件的界面设计风格迥异，同样的功能可能以完全不同的形式呈现。

为了解决这些问题，研究团队设计了一套三阶段的训练方法，就像培养一个优秀的助手需要经历学徒、熟练工、专家三个阶段一样。

一、第一阶段：基础技能培训

在第一个阶段，研究团队让Mano通过大量的示例学习基础操作技能。这个过程类似于让一个新员工观察资深员工的工作流程，学习如何识别界面元素和执行基本操作。

研究团队收集了大量真实的操作数据，包括各种网站和操作系统上的用户操作记录。这些数据就像是一本详细的操作手册，记录了在不同情况下应该如何点击、输入、滚动等。但与传统的编程不同，这些数据保持了原始的高分辨率截图，因为界面中的细节信息至关重要。一个小小的按钮或者模糊的文字可能就是完成任务的关键。

在这个阶段，Mano学会了基本的"视觉理解"能力。它能够识别屏幕上的各种元素，知道哪些是可以点击的按钮，哪些是可以输入文字的文本框，哪些是可以滚动的区域。这就像教会一个人认识各种工具的用途一样，为后续的复杂操作打下基础。

研究团队特别注意到，在训练数据的组织方式上做了重要改进。他们发现，让系统在每一步操作时不仅要"思考"下一步该做什么，还要能够"总结"当前的操作意图，这样能够显著提高操作的准确性。这就好比一个好的助手不仅知道要做什么，还能清楚地表达自己的想法和计划。

二、第二阶段：策略优化训练

仅仅学会单步操作是不够的，就像学会了使用各种厨具并不意味着就能做出一道完整的菜一样。Mano需要学会如何将多个操作步骤组合起来，完成复杂的任务序列。

在第二阶段，研究团队采用了一种叫做"离线强化学习"的方法。这个过程可以比作让一个厨师通过分析大量成功和失败的菜谱来改进自己的烹饪技巧。系统会分析大量完整的操作序列，学习哪些操作组合能够成功完成任务，哪些会导致失败。

研究团队设计了一套精巧的奖励机制来指导学习过程。这套机制包含三个方面的评价标准：首先是格式正确性，确保系统的输出符合预期的格式；其次是操作类型的合理性，确保在当前情况下选择了合适的操作类型；最后是最终结果的准确性，确保操作达到了预期的目标。

这种多维度的评价体系就像是一个严格的导师，不仅关注学生的最终成绩，还关注学习过程中的每一个细节。通过这种方式，Mano逐渐学会了如何制定合理的操作计划，如何在遇到意外情况时调整策略，以及如何确保整个任务序列的成功完成。

三、第三阶段：实战环境适应

第三阶段是让Mano在真实的模拟环境中进行实战训练，这就像让一个学徒在真实的工作环境中接受考验一样。研究团队构建了一个复杂的模拟环境，包含多个并行的浏览器实例和桌面环境，让Mano能够同时处理多个任务。

在这个阶段，Mano不再只是学习已有的操作记录，而是要自主探索和尝试新的操作策略。系统会尝试各种不同的操作方法，通过试错来发现最有效的解决方案。这个过程充满了挑战，因为真实环境中充满了不确定性：网页可能加载缓慢，按钮位置可能发生变化，或者出现意想不到的弹窗。

为了应对这些挑战，研究团队设计了一套动态的学习机制。当Mano在探索过程中发现新的有效操作方法时，这些经验会被记录下来，并反馈到训练数据中，用于进一步改进系统性能。这形成了一个持续学习和改进的循环，让Mano能够不断适应新的环境和挑战。

四、智能数据采集系统

为了让Mano能够处理各种复杂的数据提取任务，研究团队还开发了一个名为Mano-parking的智能数据采集系统。这个系统就像是一个非常聪明的网页信息收集助手，能够根据用户的自然语言描述自动从网页中提取所需的信息。

当用户说"帮我搜索抖音上关于手持风扇的视频，要最近一个月发布的，我需要视频标题、链接和点赞数"时，Mano-parking能够自动理解这个需求，生成相应的数据提取程序，并执行提取任务。更令人惊喜的是，这个系统具有自我学习和适应能力，当网站结构发生变化时，它能够自动调整提取策略，确保数据采集的持续有效性。

Mano-parking的工作流程就像是一个经验丰富的研究助理的工作方式。首先，它会检查是否已经有现成的数据提取方案可以使用。如果没有，它会仔细分析目标网页的结构，理解用户的需求，然后生成一个定制化的提取程序。在执行提取任务时，它还会进行多层次的质量检查，确保提取的数据完整、准确、符合要求。

五、智能验证系统

为了确保每一步操作都准确无误，研究团队还开发了一个名为Mano-verify的智能验证系统。这个系统就像是一个细心的质检员，会仔细检查每一步操作是否按照预期执行。

Mano-verify的工作原理是通过对比操作前后的屏幕截图，结合操作描述和历史记录，来判断操作是否成功。当发现操作出现错误时，它会立即发出警告，并触发错误恢复机制。这种实时监控和纠错能力大大提高了整个系统的可靠性和稳定性。

这个验证系统的训练过程也很有趣。研究团队不仅收集了大量正确操作的示例，还特意收集了许多失败操作的案例。通过学习这些正面和负面的例子，Mano-verify能够准确识别各种可能的错误情况，并提供相应的诊断信息。

六、身份验证助手

在实际应用中，许多网站和系统都需要用户登录验证，包括各种复杂的验证码挑战。为此，研究团队开发了Mano-cipher身份验证助手，专门处理登录和验证码相关的任务。

Mano-cipher就像是一个非常有经验的网络操作员，能够处理各种类型的验证码挑战，包括数字字母组合、图片滑动拼图、图片旋转、内容识别，甚至是需要逻辑推理的复杂验证码。当遇到需要登录的系统时，Mano会请求用户提供凭据，然后由Mano-cipher自动完成整个登录流程，包括填写用户名密码和处理各种验证码挑战。

这个系统的训练过程采用了创新的合成数据生成方法。研究团队使用了2000张风景图片作为背景，生成了大量不同类型的验证码训练样本。通过先进行基础训练，再进行在线强化学习，Mano-cipher能够在真实环境中准确识别和处理各种验证码挑战。

七、数据循环优化系统

整个Mano系统的一个重要特色是其持续学习和自我改进的能力。研究团队设计了一套数据循环系统，让Mano能够从实际使用中不断学习和优化。

这个循环系统的工作原理类似于一个经验丰富的师傅带徒弟的过程。当Mano在实际操作中遇到新的情况或者犯错误时，这些经验会被记录下来。对于成功的操作序列，系统会直接将其加入训练数据；对于包含错误但最终成功的操作序列，研究团队会通过人工智能辅助和人工校正的方式，将其转化为高质量的训练样本。

这种持续学习机制确保了Mano能够不断适应新的环境和挑战。随着使用时间的增长，系统的性能会越来越好，就像一个经验丰富的助手会随着工作时间的增长而变得更加熟练一样。

八、性能表现与实际应用

在实际测试中，Mano展现出了令人印象深刻的性能表现。在Mind2Web基准测试中，这是一个包含100多个网站、1000多个操作轨迹、7000多个操作步骤的综合测试平台，Mano在各项指标上都取得了显著的改进。

具体来说，在跨任务测试中，Mano的元素准确率达到了80.8%，操作F1得分为91.5%，步骤成功率为73.9%。这些数字意味着什么呢？简单来说，就是Mano能够在大部分情况下准确识别界面元素，正确执行操作，并成功完成任务序列。

在OSWorld-Verified测试中，这是一个更加贴近真实使用场景的测试平台，包含369个评估任务，涵盖10个不同的应用程序，Mano的平均得分达到了41.6分。虽然这个数字看起来不是很高，但要知道这是在真实的操作系统环境中进行的端到端测试，难度相当大。

研究团队通过详细的对比实验发现，三阶段训练方法的每个阶段都对最终性能有重要贡献。基础技能培训阶段带来了7.6分的提升，策略优化训练阶段带来了1分的提升，而实战环境适应阶段带来了7.9分的显著提升。这说明在真实环境中的实战训练对于提高系统性能具有关键作用。

九、技术创新与突破

Mano系统的成功得益于多个方面的技术创新。首先是在数据处理方面，研究团队保持了原生的动态图像分辨率，避免了传统方法中因为图像压缩而丢失重要细节的问题。这就像是给系统配备了高清摄像头，能够看清界面上的每一个细节。

在模型训练方面，研究团队采用了全参数微调的方法，而不是常见的参数高效微调方法。这种选择基于一个重要的认识：要让模型真正适应图形用户界面这个特殊领域，需要对模型的核心组件进行深度调整，特别是视觉编码器和跨模态注意力层。

在强化学习的应用方面，研究团队采用了GRPO（Group Relative Policy Optimization）算法，这是一种相对较新的强化学习方法。通过在离线和在线阶段设计不同的奖励函数，系统能够在保持策略稳定性的同时，实现面向目标的优化。

在数据组织方面，研究团队发现了一个看似简单但实际很重要的改进：在每个操作步骤中增加一个简洁的总结环节。这个改进虽然简单，但带来了2.8分的性能提升。通过注意力机制的可视化分析，研究团队发现模型在生成操作时确实更多地关注这个总结部分，这验证了改进的有效性。

十、未来发展前景

Mano系统的成功为智能GUI助手的发展开辟了新的道路。这项技术的潜在应用场景非常广泛，从个人用户的日常任务自动化，到企业级的业务流程自动化，都有着巨大的应用潜力。

对于普通用户来说，Mano可以帮助自动化许多重复性的计算机操作任务，比如定期的数据收集、表单填写、文件整理等。这不仅能够节省大量时间，还能减少因为重复操作而产生的错误。

对于企业用户来说，Mano可以用于自动化各种业务流程，比如客户服务、数据录入、报告生成等。这种自动化不仅能够提高工作效率，还能确保操作的一致性和准确性。

从技术发展的角度来看，Mano系统展示了多模态人工智能在实际应用中的巨大潜力。通过结合视觉理解、自然语言处理和强化学习等技术，系统能够在复杂的真实环境中实现智能化的任务执行。

研究团队也认识到当前系统还存在一些限制和改进空间。比如在处理一些特别复杂或者罕见的界面时，系统的表现还不够稳定；在面对快速变化的网页结构时，适应能力还需要进一步提升。但是，通过持续的技术改进和数据积累，这些问题都有望得到解决。

说到底，Mano系统代表了人工智能技术在图形用户界面自动化领域的一个重要突破。它不仅展示了当前技术的可能性，也为未来的发展指明了方向。随着技术的不断进步和应用场景的不断扩展，我们有理由相信，智能GUI助手将会成为我们日常生活和工作中不可或缺的重要工具。

这项研究的意义不仅在于技术本身的进步，更在于它为人机交互开辟了新的可能性。当计算机能够像人一样"看懂"界面并自主操作时，我们与数字世界的交互方式将会发生根本性的改变。这种改变不仅会提高我们的工作效率，还会让更多的人能够更容易地使用复杂的计算机系统，从而缩小数字鸿沟，让技术真正为所有人服务。

Q&A

Q1：Mano系统是如何"看懂"电脑界面的？
A：Mano使用高分辨率屏幕截图作为输入，通过深度学习模型识别界面上的各种元素，比如按钮、文本框、菜单等。它就像给电脑装了一双智慧的眼睛，能够理解这些视觉元素的含义和功能，然后根据任务需求决定如何操作。

Q2：Mano的三阶段训练方法具体是怎么工作的？
A：第一阶段是基础技能培训，让Mano学会识别界面元素和执行基本操作；第二阶段是策略优化训练，通过离线强化学习让系统学会组合多个操作完成复杂任务；第三阶段是实战环境适应，在真实模拟环境中进行实战训练，提高系统的适应能力和稳定性。

Q3：普通用户可以使用Mano系统吗？它有什么实际应用？
A：目前Mano还主要是研究阶段的系统，但它展示了巨大的应用潜力。未来可以用于自动化各种重复性的电脑操作，比如网页数据收集、表单填写、文件整理等。对企业来说，还可以用于客户服务、数据录入、报告生成等业务流程自动化。

来源：码客人生一点号