摘要：国家知识产权局信息显示，国网河北省电力有限公司信息通信分公司、北京邮电大学、国家电网有限公司申请一项名为“一种基于混合注意力机制的跨模态检索方法及系统”的专利，公开号CN120071358A，申请日期为2024年12月。

金融界2025年6月2日消息，国家知识产权局信息显示，国网河北省电力有限公司信息通信分公司、北京邮电大学、国家电网有限公司申请一项名为“一种基于混合注意力机制的跨模态检索方法及系统”的专利，公开号CN120071358A，申请日期为2024年12月。

专利摘要显示，本发明公开了一种基于混合注意力机制的跨模态检索方法及系统，本发明的方法包括基于ConvNeXt和BERT模型进行图像及对应的文本的特征提取，并根据提取的特征进行多模态特征聚合得到对应的粗粒度特征；基于粗粒度特征将BERT的中间层输出与ConvNeXt的顶层输出进行跨层对齐，并将BERT的顶层输出和ConvNeXt的顶层输出进行层次化对齐，以得到图像‑文本对齐结果；基于图像‑文本对齐结果通过采用粗粒度召回和细粒度检索的分层推理策略进行跨模态检索。本发明通过有效的语义过滤机制提炼关键信息，实现更准确的跨模态检索，提高检索的准确率和效率。

来源：金融界