大语言模型涌现出了通用的能力,但是存在的主要问题:1. 缺乏事实知识,训练中看了很多事实和知识,但是却经常不能正确回想起来,而且存在幻觉。2. 缺乏可解释性,概率模型推理indecisive,现在应用思维链能提供一部分可解释性,但是同样存在幻觉的问题,使其难以应用在高风险场景,例如医疗诊断和法律判决。

知识图谱是一个解决这些问题的思路。知识图谱包含大量三元组,是结构化且decisive的知识表示方式。它能提供符号推理能力,具有可解释性。领域专家可以构建提供精确可靠的特定领域知识图谱。但是存在的主要问题:1. 构建困难,难以处理其不完整动态改变的特点。2. 很多方法忽视知识图谱中的丰富文本信息。3. 很多方法只适用特定知识图谱,通用性不够。下图分别总结了大模型和知识图谱的优缺点:

大模型和知识图谱的优缺点

融合大模型和知识图谱的方法主要可以分为三类:1. KG-enhanced LLMs,在预训练时加入知识图谱,帮助大模型学习知识,或者在推理时使用大模型检索知识以及对推理提供分析和解释。2. LLM-augmented KGs,最直接的方式是用大模型处理知识图谱中的语料,增强知识图谱表示。也有研究大模型去做实体和关系抽取,来完成图谱构建。还有通过将知识图谱转化为提示,输入给大模型直接做知识推理任务。3. Synergized LLM + KG, 在知识表示和推理中相互增强,下图是一个协同大模型和知识图谱的通用框架,主要可以是包含数据层,协同模型,技术以及应用四个层面。

协同大模型和知识图谱的通用框架
融合大模型和知识图谱研究的细粒度分类图.png

未来研究方向:1. 用知识图谱检测大模型幻觉,实现一个更加通用的跨领域的事实核查模型。2. 用知识图谱进行知识编辑,现在的工作还只能编辑简单的基于三元组的知识,并且存在灾难性遗忘和错误编辑的问题。3. 用知识图谱对黑盒大模型进行知识注入,对于闭源的大模型,现在将知识转换为提示输入的方法的问题是不能泛化到新的大模型,还有受限于输入长度。 4. 使用多模态大模型与知识图谱进行对齐。5. 协同大模型和知识图谱双向推理,可以结合很多方法例如多模态学习、图神经网络、持续学习,知识图谱的搜索和文本驱动的推理互相验证。

[1]Unifying Large Language Models and Knowledge Graphs: A Roadmap
[2]Large Language Models and Knowledge Graphs: Opportunities and Challenges