龚健雅/张觅等在全栈自主遥感智能解译大模型和多智能体领域取得进展

摘要：近期，张觅副研究员作为第一作者和龚健雅院士作为通讯作者在Science Bulletin （科学通报，IF=18.8）发表题为“Foundation model for generalist remote sensing intelligence: poten

近期，张觅副研究员作为第一作者和龚健雅院士作为通讯作者在Science Bulletin （科学通报，IF=18.8）发表题为“Foundation model for generalist remote sensing intelligence: potentials and prospects”的研究成果。论文系统地分析了近5年国内外遥感大模型在场景分类/检索、目标检测、地物分类（语义分割）、变化检测、视频追踪、地学应用等方面的进展，提出遥感大模型的统一计算框架，即领域专用的深度学习框架与样本库、多模态地学领域知识的融合与微调、双向人机反馈机制、质量与可靠性评估、透明的下游应用模型。基于该框架，课题组研发了具备28亿参数的多模态-多任务的遥感大模型LuoJia.SmartSensing（珞珈.灵感）并在山东海阳东方航天港成功部署原型系统。

图1 遥感通用大模型统一计算框架

另一项研究TopoSense: agent driven topological graph extraction from remote sensing image发表于ISPRS Technical Commission III Mid-term Symposium on Remote Sensing，该项成果基于课题组CVPR 2023论文成果TopDiG: Class-agnostic Topological Directional Graph Extraction from Remote Sensing Images，进一步探讨了视觉智能体在遥感影像矢量提取方面的应用。不同于当前语言模型驱动的智能体方法，TopoSense尝试将遥感影像地物目标的“点-线-面“要素作为视觉智能体基元，通过智能体基元自动发现并自动纠正断裂、不连续的基元特征，同时结合基础预训练大模型克服特征泛化性能问题，从而实现矢量地物要素的在线更新与鲁棒提取。

图2 TopoSense视觉智能体矢量提取模型示意图

据悉，LuoJiaNet智能遥感解译团队在龚健雅院士、胡翔云教授指导下，由张觅副研究员负责，系统地解决了遥感智能解译大模型全栈自主可控的卡脖子问题。先后与华为公司合作建立了开源开放的LuoJiaNet深度学习框架与LuoJiaSet样本库；构建了具有28亿参数的LuoJia.SmartSensing遥感多模态-多任务大模型，并与百度公司合作在山东海阳东方航天港部署；构建了面向数智教育的LuoJiaNet遥感AI实习实训平台。相关成果在广东省国土资源技术中心、广州市城市规划勘测设计研究院、浙江省测绘科学研究院等单位落地应用。

上述研究成果的共同作者有张祖勋院士、胡翔云教授、博士生杨炳楠等，获得了国家自然科学基金、教育部集成攻关大平台、湖北省重点研发计划、湖北珞珈实验室基金等项目的支持。