【大语言模型】ACL2024论文-08 统一的时间知识图谱推理模型：插值与外推

【大语言模型】ACL2024论文-08 统一的时间知识图谱推理模型：插值与外推

0. 论文信息

https://arxiv.org/abs/2405.18106

---

目录

---

统一的时间知识图谱推理模型：插值与外推

1. 摘要

本文提出了一个原创的时间路径基础推理（Temporal PAth-based Reasoning, TPAR）模型，用于处理时间知识图谱（Temporal Knowledge Graph, TKG）中的插值推理和外推推理。TPAR模型采用神经驱动的符号推理方式，能够处理含噪声和模糊的时间数据，并具有良好的可解释性。通过全面的实验，TPAR在链接预测任务上超越了现有的最先进方法（State-of-the-Art, SOTA），并且在插值和外推设置中都表现出色。此外，本文还设计了一个新颖的实验流程来评估SOTA方法组合和提出的TPAR模型在插值和外推推理中的表现。更多多样化的实验进一步展示了TPAR的鲁棒性和可解释性。

2. 研究背景

知识图谱（Knowledge Graph, KG）是一个语义网络，它使用实体和关系以结构化的方式表示现实世界中的事实。在现实世界中，许多事实与特定的时间间隔密切相关。例如，“巴拉克·奥巴马是美国的总统”这一事实在2009年1月20日至2017年1月20日期间有效。为了表示这种时间敏感的事实，时间知识图谱（TKG）应运而生，它通过将时间信息t整合到事实三元组中，表示为四元组（s, r, o, t），允许对知识随时间的演变进行建模，这对于金融预测、社交网络和医疗保健等领域中的时间演化事实推理至关重要。

3. 问题与挑战

TKG推理旨在基于现有TKG中的时间敏感事实推断新知识，通常有两种设置：插值推理和外推推理。插值推理旨在推断历史中任何时间点的缺失事实，而外推推理则试图预测未来可能发生的未知事实。然而，现有的TKG推理方法通常只针对这两种设置中的一种，这限制了TKG应用的实用性。此外，插值方法在训练时不强调事实序列之间的时间关联，因此在处理外推中的不可见时间戳和实体时面临挑战；而大多数SOTA的外推解决方案在训练期间需要数据的严格时间顺序，因此它们只能预测未知的未来事实，而很难推断出对完成整体知识格局至关重要的缺失历史事实。

4. 如何解决

为了解决上述问题，本文提出了一个统一的方法，可以同时适应这两种推理设置，使得TKG推理可以同时进行插值和外推。TPAR模型从最近的神经和符号TKG推理方法中汲取灵感，利用Bellman-Ford最短路径算法，并引入了一种递归编码方法来对各种时间路径的目标实体进行评分，然后TPAR利用获得的评分进行符号推理。这种神经驱动的符号推理方式比传统的纯符号推理方法更能够处理不确定数据，并且具有很好的可解释性。

5. 创新点

1. 提出了一个原创的统一时间路径基础推理（TPAR）模型，这是首次实现插值和外推推理的融合。
2. 开发了一个新颖的神经驱动符号推理方式，增强了时间知识推理的鲁棒性和可解释性。
3. 通过全面的实验，证明了TPAR在链接预测任务上超越了SOTA方法，并且在插值和外推设置中都表现出色。

6. 算法模型

TPAR模型的核心是时间路径的概念，它由一系列时间链接组成，这些链接从主体实体顺序连接到目标实体。TPAR通过递归编码方法对时间路径的目标实体进行编码，然后使用注意力机制对消息进行加权，最后通过聚合操作对不同时间路径上的消息进行加权求和，得到每个实体的表示。TPAR模型使用这些表示来衡量时间路径的质量，并进行推理。

7. 实验效果

重要数据与结论

• 插值推理：在ICEWS14、YAGO11k、ICEWS05-15和WIKIDATA12k四个数据集上，TPAR在所有评估指标上均优于基线方法。
• 外推推理：在ICEWS14、ICEWS18、YAGO和WIKI四个数据集上，TPAR同样在所有评估指标上超越了基线方法。
• 管道设置：通过一个新颖的实验流程，TPAR在插值后进行外推的设置中表现出色，证明了其在统一TKG推理中的优势。
• 路径解释：TPAR能够通过时间路径解释推理结果，提供了推理的可解释性。
• 鲁棒性分析：TPAR在不同数据稀疏度水平下的表现优于其他模型，显示了其在处理稀疏数据方面的鲁棒性。
  
  
  

推荐阅读指数：4.6

---

后记

如果您对我的博客内容感兴趣，欢迎三连击 (点赞、收藏、关注和评论)，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。