摘要：本文介绍了一个名为MetaVQA的基准测试，旨在评估和提高视觉语言模型（VLM）对空间关系和场景动态的理解能力。该基准测试利用NuScenes和Waymo数据集中的注释信息自动生成了大量的基于真实世界交通场景的问题答案对，并通过闭合循环仿真来评估VLM在安全关
本文介绍了一个名为MetaVQA的基准测试，旨在评估和提高视觉语言模型（VLM）对空间关系和场景动态的理解能力。该基准测试利用NuScenes和Waymo数据集中的注释信息自动生成了大量的基于真实世界交通场景的问题答案对，并通过闭合循环仿真来评估VLM在安全关键情况下的决策能力和行为表现。实验结果表明，使用MetaVQA数据集进行微调可以显著提高VLM的空间推理和实体场景理解能力，在仿真环境中的驾驶行为中也表现出更高的安全性意识。此外，学习过程具有很强的从仿真到现实观察的迁移性。该论文的研究方法和结果对于开发具有更强智能和适应性的移动机器人和自动驾驶汽车具有重要意义。
本文提出了构建MetaVQA数据集的方法，该数据集旨在用于评估通用视觉语言模型（VLM）在实体场景理解方面的表现，并作为实体场景理解的基准测试。MetaVQA数据集包含大量的问答对，其中包括对真实世界和模拟环境中的交通场景进行提问。具体地，本文采用了以下两个关键原则来设计MetaVQA数据集：
如何有效地与通用视觉语言模型沟通：为了公平地评估所有学生的学业成绩，教师应该创建一个问题集，其中问题和答题说明都应清晰直观。考虑到现有的作品在使用不同的提示约定和期望答案形式上存在多样性，因此需要找到一种有效的沟通方式。为此，本文采用了Set-of-Mark（SoM）提示技术，以提供更直观、不模糊的参考方案。如何全面评估实体场景理解能力：为了解决这一问题，本文设计了涵盖所有方面空间关系和实体理解能力的30个问题类型，并利用真实世界的和模拟环境的数据来构建这些问题。此外，还通过闭合环路仿真进行了实验，以验证所学知识在实际应用场景中的效果。为了实现上述目标，本文采用了以下改进措施：
使用Set-of-Mark提示技术：SoM技术可以提高视觉语言模型的视觉定位能力，并提供直观且不模糊的参照系。构建多样的问题类型：本文设计了涵盖所有方面空间关系和实体理解能力的30个问题类型，以便全面评估实体场景理解能力。利用真实世界和模拟环境的数据：为了使评估结果更具普适性和可靠性，本文同时使用了真实世界和模拟环境的数据来构建问题。本文的主要目的是解决如何有效评估通用视觉语言模型在实体场景理解方面的能力。具体来说，本文解决了以下几个问题：
如何制定公平的评估标准：通过采用Set-of-Mark提示技术和提供清晰直观的问题和答案说明，本文建立了公平的评估标准。如何全面评估实体场景理解能力：通过设计涵盖所有方面空间关系和实体理解能力的30个问题类型，本文实现了对实体场景理解能力的全面评估。如何提高评估结果的普适性和可靠性：通过同时使用真实世界和模拟环境的数据，本文提高了评估结果的普适性和可靠性。来源：宁教授网络空间元宇宙
免责声明：本站系转载，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与本站联系，我们将在第一时间删除内容!