首个基于知识的视图万物布控大模型发布！TeleAI用AI守护社会安全

摘要：“前方道路积水过深，请勿通行！”近日，在几名行人尝试通过暴雨积水路段时，中国电信人工智能研究院（TeleAI）自主研发的视图万物布控系统“秒响应”，及时向行人发出预警。目前该系统已落地某省自然灾害应急项目，接入50w路视频本地数据、沉淀20+个应急视频AI全流

“前方道路积水过深，请勿通行！”近日，在几名行人尝试通过暴雨积水路段时，中国电信人工智能研究院（TeleAI）自主研发的视图万物布控系统“秒响应”，及时向行人发出预警。目前该系统已落地某省自然灾害应急项目，接入50w路视频本地数据、沉淀20+个应急视频AI全流程感知场景，打造省市两级1+14视频智能分析系统。

近日，TeleAI发布业内首个基于知识的视图万物布控大模型—Telesearch 2.0，打破模态间信息孤岛，可根据自然语言精准检索图片/视频，实现跨模态复杂语义精准理解、超万种目标精准检索。在自然语言的基础上，Telesearch 2.0支持上百个专业知识文档挂载，在理解复杂文档内容基础上，实现根据自然语言精准检索视觉，如根据全国几百部交通法规，搜索“机动车压线”，Telesearch 2.0能在理解复杂法规基础上进行逻辑推理，准确检索出存在“机动车压线”行为的视频。TeleAI用最前沿跨模态大模型检索技术，打破传统标签化检索壁垒，变革人们日常生活；勇担央企责任和使命，用AI技术，维护公共秩序，守护社会安全，赋能城市治理智能化升级，用科技驱动社会进步。

从标签、自然语言驱动视觉检索

到基于复杂知识的视觉检索

开创视觉检索新格局

在信息爆炸的时代，如何高效、精确地从海量数据中检索出所需信息已成为亟待解决的难题。传统标签式检索已难以满足实际生活、工作中精准检索的需求，特别是在专业场景下许多任务往往更加复杂，已经远远超出了通常视觉任务的范畴，目标或事件都由专业术语、规则来定义，需要深厚的行业知识和逻辑推理能力。

为了提升视觉大模型结合行业知识对复杂事件的理解和推理能力，TeleAI围绕知识可用和回答可信两个目标展开攻关，在细粒度多模态文档理解、视觉语言高效对齐、基于知识增强的长上下文感知理解技术上取得了突破，实现从根据标签检索、自然语言驱动的检索，到基于专业行业知识的检索的跨越，实现一键构建“行业专家”。

中国电信凭借在各行业深耕多年的优势和经验，积累了超亿级大规模训练数据及多模态标注数据，在中国电信集团 CTO、首席科学家、TeleAI院长李学龙教授带领下，坚持自主研发创新，结合视觉-语义模态各自特点与相互关系，创新性提出了基于多模态表征融合的检索架构，建立了大规模的多模态检索体系，统一表示视频、文本和图像等多种模态数据，检索精度达到业内领先，有效检索挖掘形成超亿级大规模训练数据。

基于以上先进技术方案，Telesearch在检索准确率、检索种类、检索速度等层面均在业界领先。Telesearch支持识别视频图像中超万种不同类型的目标，指数级提升传统检索类目；自研动态索引更新和智能分片技术，构建自定义检索库，解决检索速度慢的业界难题，实现十亿级图片，秒级响应；检索准确度业界领先，相关技术成果在CVPR 2024少样本目标识别挑战赛(VizWiz Few-Shot Private Object Localization Challenge)等多项赛事中获得第一名，相关研究成果已在ACM MM、ICCV、ICME等顶会发表论文6篇。

勇担央企使命

中国电信用AI守护公众安全

随着社会经济的快速发展和技术的飞速进步，我国的城市治理格局发生了巨大的改变，从被动、事后、静态的传统人工排查，到主动、事前、动态的城市风险防控，如何从“被动治理”进化为“主动治理”，提升城市治理体系和治理能力现代化水平，是一个巨大的挑战。

TeleAI勇担央企使命，专为城市治理打造业内首个基于知识的万物布控视觉大模型。Telesearch具有极强泛化能力，无需二次训练，支持上百个文档知识挂载，轻松实现一键式构建行业专家系统，可理解如交通法规、消防法规、安全生产法规等复杂规则，并进行复杂逻辑推理，检索出目标视频、图片等多维内容。

TeleAI研发团队创新提出视觉特异化表征方案，通过对视觉信息区别表征与视觉-语义多阶段融合策略，增强视觉特征的表达能力，更好地保留图像中的非语义信息。同时，对视觉信息进行多重分解和最优分划选择，结合改进的位置编码，既融合了底层与高层视觉信息，提升视觉编码器对图像细节与全局信息的提取能力，又确保空间信息的准确性，大幅缓解幻觉问题。

在城市治理场景，Telesearch深度融合布控视频、图片、语义文本、专业文档等多种模态、多维信息，通过人、车、非实时识别，亿万数据秒级搜索，结合同行人员分析、行动轨迹检索等功能，以极少的线索精准检索到目标，目前Telesearch已协助公安、交警快速侦破众多复杂案件。

在公共安全治理场景，助力应急预警从灾后救助向灾前预防转变。基于中国电信积累的丰富数据及视觉大模型的视频/图像识别、情报分析等能力对城市基础设施生命线运行数据的全面感知、自动采集、监测分析、预警上报，全面提升城市抵御突发灾害的韧性，及时防范和有效化解各类风险。目前Telesearch已赋能多地市的防汛防涝、应急指挥救援、电动自行车入梯识别等多业务场景，以AI之力守护公众安全。

目前，星辰视觉大模型已在公共安全、智慧交通、城市治理、人居生活等重点行业广泛落地，并积极拓展日常生活、办公等场景，提升社会治理体系和治理能力现代化水平，增强城市抗风险能力，及时防范和有效化解各类风险。未来，TeleAI将继续深耕技术，并致力于前沿技术与实际场景深度融合，践行央企担当，以科技创新赋能社会治理智能化，守护公众安全，全力推进建设更高水平平安社会。