知识增强图(KAG)在LLM检索中的应用

B站影视 2025-01-03 13:56 2

摘要:在人工智能领域蓬勃发展的当下,生成式人工智能技术不断取得新的突破,其中基于大语言模型(LLM)的检索技术更是成为众多应用场景的核心。检索增强生成(RAG)和 GraphRAG 作为该领域的重要探索成果(2024 年 RAG 的崛起和演变:一年回顾综述(1.25

在人工智能领域蓬勃发展的当下,生成式人工智能技术不断取得新的突破,其中基于大语言模型(LLM)的检索技术更是成为众多应用场景的核心。检索增强生成(RAG)和 GraphRAG 作为该领域的重要探索成果(2024 年 RAG 的崛起和演变:一年回顾综述(1.25万字+46参考文献+18张图)),曾为连接外部文档与大语言模型进行问答任务提供了有力支持,但它们也存在着不可忽视的局限性。在此背景下,知识增强生成(KAG)应运而生,它不仅有效克服了前两者的不足,更在诸多方面实现了显著提升,为基于 LLM 的检索技术带来了崭新的发展方向。

(一)RAG:连接外部知识的先驱

RAG (面向企业RAG(Retrieval Augmented Generation)系统的多维检索框架)自诞生起便在生成式人工智能应用中占据重要地位,其核心功能是将各类外部文档,包括 PDF 文件、视频资料等,与大语言模型进行连接,以满足问答场景的需求。在实际应用中,RAG 能够检索外部文档中的相关内容,并将这些信息输入到 LLM 中,帮助模型生成更具针对性和准确性的回答。这一技术的出现,在很大程度上弥补了 LLM 自身知识储备的不足,使其能够借助外部数据回答特定领域或基于最新信息的问题。

然而,RAG 也存在明显的缺陷。它主要依赖简单的基于相似度的搜索方法,这使得它在处理复杂问题时,容易生成模糊不清的答案。当用户的问题涉及多个知识点的关联或需要深入推理时,RAG 可能无法准确把握问题的核心,导致给出的回答无法满足用户需求。

(二)GraphRAG:对检索的优化探索

为了改进 RAG 的检索性能,GraphRAG 被引入(GraphRAG原理深入剖析-知识图谱构建)。GraphRAG 运用图分析和知识图谱创建技术,对 RAG 的检索能力进行了提升。通过构建知识图谱,GraphRAG 能够更好地理解数据之间的关系,从而在检索过程中更精准地定位相关信息。与 RAG 相比,GraphRAG 在一些场景下确实提高了检索的准确性和效率。

但 GraphRAG 同样存在短板。在推理过程中,由于信息提取可能存在误差,它可能会引入噪声,影响最终回答的质量。对于复杂的查询,GraphRAG 在将检索到的事实进行组合和推理时,往往力不从心,难以给出全面、准确的答案。这意味着在面对专业领域的复杂问题时,GraphRAG 的表现仍不尽人意。

(一)诞生的必然性

鉴于 RAG 和 GraphRAG 存在的上述局限性,研发一种更为先进、能够有效解决这些问题的技术成为当务之急。KAG 正是在这样的背景下应运而生,它的目标是克服 RAG 和 GraphRAG 的缺点,为基于 LLM 的检索提供更强大、更可靠的解决方案。

(二)KAG 的定义与基础架构

KAG 即知识增强图(Knowledge - augmented Graph),它将大语言模型与结构化的知识图谱深度整合,旨在实现专业领域中的逻辑推理和问答功能。KAG 构建于 OpenSPG 引擎之上,这一引擎是创建和管理知识图谱的框架,就如同一张庞大且详尽的信息地图,能够将原始数据转化为有用的知识,支持知识图谱的持续更新和完善,并将大数据与人工智能系统相连接,以解决复杂的实际问题。OpenSPG 的灵活性使其可以根据不同行业和需求进行定制化调整,为 KAG 的强大功能提供了坚实基础。

(一)强大的逻辑推理能力

KAG 支持先进的推理能力,尤其是多步(多跳)推理。这意味着它能够从多个相关信息片段中进行连接和推断,从而得出答案。在处理问题时,KAG 不再局限于简单的信息匹配,而是能够深入挖掘信息之间的内在逻辑关系,通过多步推理,为用户提供更具深度和准确性的回答。例如,在法律领域,当面对一个涉及多个法律条款和复杂事实情况的案例分析问题时,KAG 可以通过多步推理,将相关的法律条文、以往类似案例以及当前案件的具体情况相结合,给出全面且合理的法律建议。

(二)专注领域特定知识

KAG 专为垂直知识库设计,在需要深入专业知识的领域表现出色。它能够将结构化数据(如表格)和非结构化数据(如文本或专家规则)整合到一个统一的系统中。以医疗行业为例,KAG 可以将患者的病历数据(结构化)、医学研究文献(非结构化)以及专家医生的诊疗经验(专家规则)等多源信息融合在一起,形成一个全面的医疗知识图谱。当医生咨询关于某种罕见疾病的诊断和治疗方案时,KAG 能够利用这个整合后的知识体系,给出基于最新研究成果和临床经验的专业建议。

(三)显著提升的准确性

KAG 通过针对性地解决传统 RAG 和 GraphRAG 的局限性,大大降低了错误率,提供更清晰、精确的答案。传统 RAG 因简单的相似度搜索易产生模糊答案,GraphRAG 则可能因信息提取错误在推理过程中引入噪声。KAG 在检索和推理过程中采用了更先进的算法和技术,能够对输入的信息进行更严格的筛选和验证,从而有效避免这些问题,确保回答的准确性。在金融领域的风险评估场景中,KAG 能够准确分析市场数据、行业动态以及企业财务状况等多方面信息,给出可靠的风险评估结果,相比 RAG 和 GraphRAG 具有更高的可信度。

(四)深度知识图谱整合

KAG 利用知识图谱(Graphusion:基于零样本LLM的知识图谱构建框架)来表示概念之间的关系,融合了逻辑(规则、关系)和事实(数据点)信息。这种整合方式使其能够高效地回答复杂的、具有上下文关联的问题。在历史研究领域,当研究者询问某个历史事件的背景、发展过程以及对后续历史进程的影响时,KAG 可以借助知识图谱中对各个历史事件、人物、时间等要素之间关系的描述,将相关信息进行整合和梳理,给出一个完整且条理清晰的答案,充分展示了知识图谱整合带来的优势。

(五)高度的可定制性

KAG 具备高度的可定制性,可以纳入特定领域的模式和规则,使其能够适应不同专业需求,无论是回答事实性问题还是推理复杂场景。在制造业中,不同企业可能有各自独特的生产流程、质量控制标准和供应链管理规则。KAG 可以根据企业的具体情况,定制相应的知识图谱和推理规则,为企业内部的生产决策、故障排查等提供个性化的支持,帮助企业提高运营效率和管理水平。

(一)知识表示

KAG 能够将混合数据,包括非结构化文本(如新闻、日志)、结构化数据(如交易记录、统计数据)以及专家规则,组织成一个统一的知识图谱。它运用提取、规范化和语义对齐等技术,对这些信息进行连接和索引,使其既适用于无模式约束的数据,也能兼容有模式约束的数据。这种统一的知识图谱支持高效搜索、逻辑推理以及图谱与原始数据之间的交叉引用,使 KAG 能够有效地处理复杂查询,并提供特定领域的深刻见解。

例如,在一家电商企业中,KAG 可以将用户的浏览记录(非结构化数据)、购买订单信息(结构化数据)以及市场营销专家制定的促销规则(专家规则)整合到知识图谱中。当企业需要分析用户购买行为模式以制定精准营销策略时,KAG 可以通过对知识图谱的分析,挖掘出用户偏好、消费习惯等有价值的信息,为企业决策提供有力支持。

(二)工作流程

KAG 的工作流程可以分为学习(索引)和回答(查询)两个主要步骤:

学习(索引)步骤信息收集:KAG 收集用户提供的所有文档、数据或知识,如研究论文、手册或数据库等,并将其分解为更小的、有意义的信息块。关键细节提取:它识别重要的信息片段,如名称、日期、关系或事实等。例如,从一篇科技报道中提取出新技术的名称、研发团队、应用领域等关键信息。知识图谱构建:KAG 将提取到的信息组织成一个知识图谱,构建起一个相互连接的概念网络。例如,将不同的科技成果与相关的研究机构、科研人员以及应用场景等进行关联,形成一个完整的知识体系。回答(查询)步骤问题理解:当用户提出问题时,KAG 不仅仅是简单地搜索关键词,而是深入理解用户的意图,并在必要时对问题进行改写,使其更加清晰明确。知识图谱搜索:它在构建好的知识图谱中查找最相关的信息片段。推理与连接:KAG 不会仅仅给出单个事实,而是将多个相关信息片段进行连接和推理,以提供完整的答案。例如,当用户询问关于某项新技术的市场前景时,KAG 会综合考虑技术特点、行业竞争态势、政策环境等多方面因素,给出全面的分析。答案生成:最后,KAG 将整合后的信息以清晰、自然的语言形式呈现给用户,生成符合人类表达习惯的回答。

尽管 KAG 和 GraphRAG 都使用知识图谱,但两者存在显著差异:

(一)知识图谱使用方式

GraphRAG 使用通用知识图谱进行检索,但缺乏深入的推理能力。而 KAG 构建特定领域的知识图谱,并运用先进的推理技术来解读信息,能够更好地满足专业领域的复杂需求。

(二)推理能力

GraphRAG 在检索事实方面表现尚可,但在将这些事实组合起来回答复杂查询时存在困难。KAG 则运用多跳推理,能够将不同信息进行连接和综合,为用户提供精确的答案。

(三)复杂查询处理能力

对于简单查询,GraphRAG 能够发挥一定作用,但在面对复杂问题时,可能无法把握问题的全貌。KAG 则擅长处理复杂的、特定领域的查询,通过将问题分解并综合分析,给出准确且全面的回答。

(四)准确性和错误率

GraphRAG 虽然相较于传统 RAG 有所进步(GraphRAG原理深入剖析--图谱检索),但在处理复杂查询时仍容易出现错误。KAG 通过结合检索、推理和图谱对齐等技术,实现了专业级别的准确性,大大降低了错误率。

以农业领域关于气候变化对作物产量影响的问题为例,GraphRAG 可能只能给出一些零散的信息,而 KAG 能够通过连接气候变化数据、农业生产规律以及地区特点等多方面信息,提供一个详细、连贯的答案,充分展示了其在复杂问题处理上的优势。

KAG 的出现为基于 LLM 的检索技术带来了新的活力和广阔的应用前景。在金融、医疗、科研等众多对信息准确性和深度推理要求极高的领域,KAG 都有望发挥重要作用。它能够帮助金融分析师更准确地预测市场趋势,辅助医生做出更精准的诊断决策,支持科研人员快速获取全面的研究资料并进行深入分析。

KAG 作为对 RAG 和 GraphRAG 的强化升级,凭借其独特的技术特性和强大的功能,为基于 LLM 的检索技术开辟了新的道路,将在人工智能应用的发展历程中留下重要的印记。

git:https://github.com/OpenSPG/KAG/blob/master/README_cn.md

本文,完。觉得本篇文章不错的,记得随手点个赞、收藏和转发三连,感谢感谢~如果想第一时间收到推送,请记得关注我们⭐~

来源:AIGC研究社一点号

相关推荐