摘要：本文介绍了一种基于提示的知识图谱基础模型（KG-ICL），旨在实现通用的上下文推理能力。传统的知识图谱推理模型通常为不同的知识图谱开发单独的推理模型，缺乏在不同知识图谱和推理场景之间共享和转移知识的能力。KG-ICL通过引入以查询相关示例事实为中心的提示图形作
本文介绍了一种基于提示的知识图谱基础模型（KG-ICL），旨在实现通用的上下文推理能力。传统的知识图谱推理模型通常为不同的知识图谱开发单独的推理模型，缺乏在不同知识图谱和推理场景之间共享和转移知识的能力。KG-ICL通过引入以查询相关示例事实为中心的提示图形作为上下文来理解查询关系，并使用统一标记器将提示图形中的实体和关系映射到预定义的标记中，从而具有对未见过的实体和关系进行编码的一般化能力。实验结果表明，在推断任务上，KG-ICL优于基线方法，展示了其出色的泛化能力和通用推理能力。
该论文提出了一种基于prompt图的KG推理模型，用于在预训练后仅使用相关示例即可对新兴KG进行推理。首先，根据查询关系生成prompt图，并使用统一的tokenizer将不同的实体和关系映射到统一的标记上。然后，通过message passing神经网络对prompt图进行编码，并使用readout子模块获取prompt表示。最后，在KG推理过程中，使用一个新颖的KG推理模块来分别对实体和关系进行初始化、KG编码和推理操作。
相比于传统的KG推理方法，该方法引入了prompt图的概念，使得模型能够更好地利用相关的知识来进行推理。同时，使用统一的tokenizer和message passing神经网络对不同的实体和关系进行了统一处理，提高了模型的泛化能力。
该方法解决了传统KG推理方法中存在的一些问题，如需要大量的训练数据和难以适应新的KG等。通过引入prompt图和message passing神经网络，该方法能够在预训练后仅使用少量的相关示例对新兴KG进行推理，大大降低了训练成本和时间。此外，该方法还具有较强的泛化能力，可以适应不同领域和规模的KG。
本文主要介绍了基于prompt的KG推理模型KG-ICL，并通过一系列实验对其进行了评估和比较。具体来说，本文进行了以下四个方面的实验：
实验设置：将43个不同规模和结构的KG分为三组（inductive、fully-inductive和transductive），并针对每组数据集进行了实验。主要结果：在三个数据集中，KG-ICL均取得了比其他模型更好的性能表现。其中，“KG-ICL pre-train”版本在大多数情况下优于ULTRA的pre-training版本，“KG-ICL finetune”版本则在所有数据集中都表现出色。进一步分析：通过对模型的不同模块进行实验，得出了以下几个结论：提示图对于知识转移至关重要；统一的tokenizer有助于in-context学习；在少量例子的情况下，KG-ICL可以高效利用例子进行推理；路径和邻居信息都是推理的关键因素；KG-ICL对低资源关系具有较强的鲁棒性；KG-ICL可以通过捕捉关系在不同查询中的角色来提高泛化能力。对比实验：将KG-ICL与supervised SOTA模型和ULTRA的pre-training和finetuning版本进行了比较，结果显示KG-ICL在大多数数据集上都优于竞争对手。此外，本文还与其他相关工作进行了比较，如InGram等。总的来说，本文通过多个实验验证了KG-ICL的有效性和优越性，并为进一步研究提供了参考。
本文提出了一种基于KG推理的in-context学习模型，该模型通过prompt图和统一分词器来支持跨KG推理，并在43个不同的KG上进行了实验验证。实验结果表明，该模型具有良好的泛化能力和迁移能力，在transductive和inductive两种设置下均表现出较高的性能。此外，该模型还能够有效地利用少量示例进行训练，从而提高了效率。
本文的主要贡献在于提出了一个有效的KG推理in-context学习模型。该模型使用prompt图作为上下文信息，通过对邻居实体和关系路径的建模来捕捉query相关的语境。同时，该模型采用了统一的分词器来解决不同KG中实体和关系名称不一致的问题。此外，该模型还设计了两个message passing神经网络来进行prompt编码和KG推理，以实现高效准确的KG推理。
虽然本文提出的模型已经在多个KG上取得了很好的效果，但是仍然存在一些限制和开放问题。例如，一些KG包含特殊事实（如时间戳和多关系方面），需要针对这些特殊情况开发相应的KG推理模型。此外，如何将in-context学习应用于更复杂的场景，如动态和多样化的个人KG等，也是值得进一步研究的方向。最后，由于过度依赖预训练数据和少数示例可能会导致社会偏见和不公平，因此需要仔细设计选择策略以避免这些问题的发生。
来源：宁教授网络空间元宇宙