大模型时代面向图模互补的技术研究与应用

摘要：导读在人工智能从“感知智能”迈向“认知智能”的关键进程中，知识图谱成为连接数据与智能的核心桥梁，其与大模型的融合发展备受瞩目。本次分享聚焦大模型时代知识图谱的前沿技术与应用，将深入剖析“图模互补”框架，探讨二者融合在智能推理、决策增强等领域的实际应用，同时展望

导读在人工智能从“感知智能”迈向“认知智能”的关键进程中，知识图谱成为连接数据与智能的核心桥梁，其与大模型的融合发展备受瞩目。本次分享聚焦大模型时代知识图谱的前沿技术与应用，将深入剖析“图模互补”框架，探讨二者融合在智能推理、决策增强等领域的实际应用，同时展望其在认知智能发展中的关键作用与未来走向，邀读者一同领略人工智能技术创新的魅力。

今天的介绍会围绕下面六点展开：

1. 从感知到认知：#知识图谱在#大模型时代的核心使命

2. 大模型的“能力圈”与“盲区”：知识图谱的补全之道

3. 知识图谱的价值重构：从静态知识到动态智能

4. 图模互补（KG-LLM-MC）：1+1>2 的智能跃迁

5. 迈向认知智能：图模互补的行业赋能与未来图景

6. 近期相关工作介绍

分享嘉宾｜黄勃上海工程技术大学副教授，上工大（滁州）人工智能产业研究院理事长

编辑整理｜李硕

内容校对｜李瑶

出品社区｜DataFun

从感知到认知：知识图谱在大模型时代的核心使命

人工智能的发展是一场从感知智能迈向认知智能的重要历程。在感知智能阶段，AI已在计算机视觉（CV）、自然语言处理（NLP）、语音处理等领域取得显著成就。但认知智能的追求更为高深，其致力于实现推理、决策等高级智能行为，赋予 AI 类似人类的“思考”能力。在这一发展进程中，感知智能与认知智能相辅相成，并非孤立存在。

从感知到认知的技术发展需要三大关键驱动力：一是计算力的提升，高性能芯片和分布式计算的出现，让#人工智能能够处理更为复杂的任务；二是海量数据对 AI 训练的支撑，若缺乏#海量数据，AI 训练将面临诸多问题；三是深度学习等算法的突破，为感知智能和认知智能的发展提供了有力支持。

知识图谱在这场进化中扮演着不可或缺的角色。作为知识的载体，它就像是一座桥梁，连接起海量数据与智能应用。从技术原理来讲，知识图谱属于经典的符号主义，通过三元组的形式把知识符号化，将各种概念、实体和关系构建成庞大的知识网络，这是知识的显性表达。而大模型作为连接主义的成果，知识以隐性的方式存储在神经网络参数中。

知识图谱是以图结构呈现的结构化知识，用于描述事物及其关系。它把概念、实体、关系组织起来，助力系统理解数据深层含义。

其核心使命是将感知数据转化为认知信息。借助结构化的真实世界背景知识，帮 AI 从单纯数据输入中推导深层知识与推理能力。具体作用包括：

增强推理能力：利用结构化关系，让 AI 理解事物关联，进行逻辑推理。提升数据质量和一致性：规范数据结构与关系，保障数据准确、统一。补充外部知识：引入外部知识丰富 AI 认知。跨领域任务应用：支持 AI 在多领域运用，实现知识迁移。

大语言模型和知识图谱目前均存在一些不足：

大语言模型的问题专业领域知识有限：尤其工业领域，大量数据未清晰或数字化，大模型难以获取有效知识。存在幻觉问题：生成看似合理却错误的内容，且难以通过训练解决。知识运维困难：训练、校验成本高，更新知识复杂、昂贵。无法严密知识推理：处理复杂逻辑关系时，推理能力不足。知识图谱的问题构建成本高，需大量人力、物力标注、整理数据。

因此，我们需要将二者结合，发挥出 1+1>2 的优势：知识图谱可解决大模型领域知识缺失、运维、推理及幻觉问题；大模型可降低知识图谱构建成本，实现二者相互增强，推动 AI 发展。

大模型的“能力圈”与“盲区”：知识图谱的补全之道

大模型基于深度学习，经过海量数据的训练，具备强大的语言生成、理解和推理能力。通过大规模预训练，大模型展现出令人惊叹的涌现能力，能完成许多超越设计目标的智能任务。在复杂任务处理中，大模型也表现出一定的逻辑推理能力，尽管还存在局限性，但相较于以往已取得了显著进步。它还拥有出色的领域泛化能力，能够跨领域迁移知识，适应多种任务场景，并且具备多模态处理能力，不仅能理解和生成文本，还能处理图像、视频、音频等多种数据形式。

然而，大模型并非完美无缺。它的生成结果存在不可控性，可能会产生偏离预期、甚至具有误导性的内容。其决策过程往往像一个“黑箱”，难以追溯和解释生成结果的依据，缺乏可解释性。由于大模型基于静态训练数据，知识实时性不足，难以快速吸收新信息，导致生成内容有时会过时。在面对复杂的跨领域或多层次推理任务时，大模型也容易出错。

此时，知识图谱的价值得以凸显。它为大模型提供结构化的可信知识，减少错误输出。知识图谱支持动态更新，能通过自动化的数据抓取与更新机制，及时补充和修复过时知识，确保大模型生成内容的时效性。凭借图结构，知识图谱可以编码实体间的关系，显著提升大模型的推理能力，帮助其进行更准确的逻辑推理和因果关系分析。此外，知识图谱还能对大模型的生成内容进行约束和修正，避免出现偏见或不合适的内容，增强其语义理解和实体识别能力，实现多模态知识融合，使大模型在多模态任务中表现更加出色。

知识图谱的价值重构：从静态知识到动态智能

传统知识图谱通常以结构化方式存储静态知识，涵盖人名、地点、事件等基本事实和关系，主要依靠人工构建和维护。但在快速发展的大模型时代，这种静态知识图谱暴露出诸多问题，如时间滞后，数据采集和整理的周期性使得图谱中的知识容易过时；知识隔离，封闭的图谱难以整合外部新知识和跨领域信息；信息更新困难，一旦存储，在快速变化的领域中难以快速更新，限制了图谱的有效性。

为了适应时代发展，知识图谱需要向动态智能系统转型。动态知识图谱的核心目标是解决传统图谱在实时性、时序性和动态演化能力上的不足，其设计理念是将数据流动视为知识演化，让知识图谱成为一个动态生长的有机体。在金融风控场景中，动态知识图谱可以实时监控资金流向，一旦发现异常转账行为，能迅速做出反应。

1. 动态知识图谱的核心技术与实现

动态更新机制增量学习：知识图谱能对新信息进行增量学习，新增加的知识可及时融入现有图谱，无需完全重建，提高知识图谱更新效率，降低成本。自动化更新：借助爬虫、API接口等自动化数据抓取与信息提取系统，将新闻、社交媒体、科研文章等外部实时信息源直接转化为知识图谱的更新内容，保证时效性。知识融合：集成文本、图像、视频等多模态数据，以及不同领域、来源的知识，促进图谱全面性和丰富性。智能推理与自动补全结合大模型技术，动态知识图谱能自动推理新知识。如在医疗领域，新研究发布时，可依据已有医学关系推导出新治疗方案，无需人工干预。以法律领域为例，新法律条文通过后，可自动纳入现有法律知识图谱，并通过推理为法律案件生成新法律建议。知识抽取与自动化构建利用大模型文本生成和理解能力，通过自然语言处理（NLP）对文本数据进行自动化抽取，将非结构化信息转化为结构化知识。自动化知识提取方法可分析大规模文献、新闻或数据，自动识别实体和关系并添加到知识图谱中，保持实时更新。

2. 知识图谱的智能决策与推理能力

智能推理的提升因果推理：大模型结合知识图谱能从图谱中推导出因果关系，助力决策者预测未来结果或行为。逻辑推理：知识图谱在推理过程中引导大模型依据已知事实进行逻辑推理，避免不合逻辑的输出。自适应智能决策金融领域：动态知识图谱自动补充市场动态信息、政策变动等，经推理分析帮助投资者做出更智能投资决策。医疗健康领域：基于知识图谱的智能推理为医生提供个性化治疗方案，并随患者健康数据变化实时调整建议。知识图谱在决策支持中的优势上下文感知：理解实体间关系和属性，为决策提供必要上下文信息。推理能力：利用图谱推理机制发现数据间隐含逻辑关系，为决策提供支持。灵活性和可扩展性：知识图谱结构适合不断添加新数据和关系，支持决策系统持续成长和学习。

结合大模型技术，动态知识图谱还能自动推理出新知识，提升智能决策能力，在跨领域智能支持、跨模态融合和个性化推荐等方面发挥重要作用。以电商平台为例，动态知识图谱可以根据用户的历史行为和偏好，实现精准的商品推荐，提升用户购物体验。

图模互补（KG-LLM-MC）：1+1>2 的智能跃迁

在人工智能领域不断探索前行的道路上，图模互补（KG - LLM - MC）正以其独特的魅力和强大的实力，引领着智能领域的跃迁式发展。这一创新理念并非简单的技术叠加，而是大模型与知识图谱深度融合、相互赋能的智慧结晶，宛如为人工智能装上了强劲的引擎，推动其在各领域加速前行。

1. 大模型增强知识图谱：注入智慧源泉

构建与补全：拓展知识版图

大模型在知识图谱的构建任务中发挥着先锋作用。通过预训练，将知识图谱的结构与实体关系巧妙嵌入，转化为 Token 后与大模型相连。大模型凭借强大的生成能力，不断输出实体和关系候选，如同为知识图谱输送新鲜血液，经过严格验证后融入其中，持续拓展知识图谱的边界，使其内容愈发丰富、完整。

推理升级：挖掘隐含逻辑

在推理任务中，大模型结合知识图谱的上下文信息，如同一位智慧的侦探，抽丝剥茧般挖掘其中隐含的知识。通过对规则样例的学习，生成候选规则并筛选验证，最终得出新的实体和规则，极大地增强了知识图谱的推理能力，让其能够洞察数据背后更深层次的逻辑关系。

从功能分层来看，大模型助力知识图谱自动补全和扩展，实现知识的动态增长。KoPA 模型更是将知识图谱结构信息嵌入文本空间，为大模型微调提供支持，使其在知识图谱补全任务中表现卓越，精准解码指令答案，大幅提升任务处理性能。

2. 知识图谱增强大模型：筑牢智能根基

训练与应用：全方位提升性能

在大模型的训练及任务应用中，知识图谱从多个维度为其提供坚实支撑。预训练阶段，知识图谱的结构化信息融入训练数据，构建丰富的预训练语料库，并采用对齐技术内嵌知识图谱，增强大模型的涌现能力，使其掌握更多事实化知识，提升自身性能。

检索方面，检索增强生成等方法借助外部真实知识向量索引，解决大模型知识更新难题，使其在处理知识密集型任务时更加得心应手。推理环节，结合图神经网络与知识图谱，有效减少偏见特征影响，提升推理准确性。而在可解释性上，通过与知识图谱结合，如 LMExplainer 等方法，为大模型输出提供清晰、全面的文本解释，让其决策过程更加透明、可理解。

功能分层：注入结构化智慧

知识图谱为大模型注入结构化知识，通过实体和关系约束，避免大模型出现概念混淆，确保因果逻辑准确无误，提升推理的精准性。同时，知识图谱为大模型提供可信度提升路径和知识可信度保障，通过知识验证修正错误、标注置值得分，为大模型输出可靠知识源，保障输出质量，评估知识准确性。

3. 图模互补的技术路径：打造智能发展高速路

模型训练：深度融合知识与模型

图模互补在模型训练上精心布局，采用联合训练、损失优化和过程优化策略。联合训练设计知识嵌入层，将知识图谱融入大模型训练，并改良注意力机制，使模型聚焦关键知识节点，如同为模型安装了精准的导航系统，使其能准确捕捉知识要点。损失优化加入知识一致性约束，确保大模型生成知识与知识图谱高度一致，提升模型可靠性，让其输出更加值得信赖。过程优化则致力于实现知识与模型的深度融合，使模型对知识的理解和应用能力得到质的飞跃，如同为模型赋予了强大的智慧大脑。

推理机制：优化效率与质量

推理机制方面，图模互补通过推理优化引擎和双通道验证机制，为大模型推理加速提质。推理优化引擎对推理过程进行精细优化，减少计算资源消耗，提升推理效率，使其能在实时应用场景中快速响应，如同为模型装上了高性能发动机。双通道验证机制让大模型生成结果接受知识图谱的严格验证，根据反馈及时修正，确保输出结果准确可靠，大幅提升推理质量，让模型推理更加精准无误。

动态交互：保障协同稳定高效

动态交互环节，图模互补通过增量更新策略、知识检索模块和交互稳定性保障，实现大模型与知识图谱的高效协同。增量更新策略使大模型的新发现及时触发知识图谱版本迭代，实现知识动态更新，紧跟新知识需求步伐，让知识始终保持鲜活。知识检索模块设计实时检索功能，为大模型快速获取知识图谱知识提供便捷通道，支持实时推理，提升响应速度，如同为模型搭建了高速信息通道。交互稳定性保障确保两者交互稳定，避免冲突，提升系统运行稳定性，保障协同效果，让大模型与知识图谱携手共进，发挥最大效能。

迈向认知智能：图模互补的行业赋能与未来图景

1. 工业领域：推动生产智能化变革

在工业领域，大模型和知识图谱的结合为生产流程智能化带来了新的契机。在研发场景中，通过图模互补技术可以实现设计方案的智能管理，快速筛选出最优设计方案，提高研发效率。在生产场景里，基于知识图谱构建的设备故障知识库和大模型的推理能力，能够对设备进行实时监控和故障预测，提前安排维护，减少停机时间，提高生产效率。在某汽车制造工厂，运用该技术后，设备故障率显著降低，生产效率大幅提升。在售前场景下，能对订单进行智能分析，合理安排生产计划；在售前售后的智能客服中，能快速准确地回答客户问题，提升客户满意度。

2. 生命医学领域：助力精准医疗新突破

在生命医学领域，大模型与知识图谱的融合为精准医疗和智能诊断带来了革命性的变化。大模型通过分析海量医学文献和病例数据，能够生成新的医学假设，推断潜在的疾病关系，为医学研究提供新的思路和方向。知识图谱将最新医学研究成果集成起来，为大模型提供可靠的背景知识，帮助大模型为个体患者提供定制化治疗方案，基于病历和实验室数据进行综合诊断。例如，在癌症诊断和治疗中，通过图模互补技术，可以更准确地判断病情，制定个性化的治疗方案，提高治疗效果。

3. 文化遗产保护领域：创新传承保护新模式

在文化遗产保护领域，大模型和知识图谱的结合为文化遗产的保护、管理和传承提供了新的解决方案。大模型通过深度学习技术处理历史文献、图像和多模态数据，能够推断出文化遗产的演变过程和社会历史关系。知识图谱将历史、文化等领域的实体和关系结构化，为大模型提供上下文信息，帮助其更好地理解文化遗产的背景和价值。通过图模互补技术，可以将博物馆中的文物进行数字化存档，结合大模型分析文物的历史背景，为遗产保护工作者制定更科学的修复方案。比如，对于一件古老的青铜器，通过该技术可以更准确地了解其制作年代、工艺和历史背景，从而制定出更合适的修复策略。

4. 未来趋势

随着技术的持续进步，图模互补的应用前景将更加广阔。在认知增强架构方面，有望构建直觉生成与逻辑校验的双通道模型，进一步提升 AI 的认知能力，使其决策更加精准和可靠。通过知识蒸馏技术实现轻量化部署，让百亿参数模型能够适配边缘设备进行实时图谱推理，拓展应用场景，如智能家居、智能穿戴设备等。在合规性设计上，采用差分隐私保护下的联邦图谱学习，满足金融医疗等领域对数据安全和隐私保护的严格要求，推动这些领域的智能化发展。

近期相关工作介绍

近期，我们团队基于科技部“2030”项目，开展了一系列前期工作，研发了一个基于大模型与小模型融合的知识抽取交互式系统。该系统支持多种格式文件，通过对文件进行切片处理，最终提取三元组，并可对提取结果进行过滤。在此过程中，系统能够生成基础的知识图谱，且该图谱可导入后台图数据库，用于构建相关的小型知识图谱。

此知识图谱构建系统能有效提升知识图谱的构建效率，且准确率较高。其本质是一个具备交互能力和多模型结果融合能力的三元组抽取平台，可实现一键式生成知识图谱。

该系统包含几项核心技术：一是融合模型预训练技术与微调模式的大型工业领域知识抽取语言模型；二是面向工业领域文本数据的自动化知识抽取及图谱构建技术；三是云服务器部署模式与交互式优化策略。这些核心技术共同构成了我们的整个系统。