有代码MoSE: Modality Split and Ensemble forMultimodal Knowledge Graph Completion
摘要
多模态知识图谱补全（MKGC）旨在预测知识图谱中缺失的实体。以往的作品通常跨模态共享关系表示。这导致了训练过程中模态之间的相互干扰，因为对于一对实体，一个模态的关系可能与另一个模态的关系相矛盾。此外，基于共享关系表示的统一预测对不同模态的输入是平等的，而它们对MKGC任务的重要性应该是不同的。在本文中，我们提出了MoSE，一种用于MKGC的模态分裂表示学习和集成推理框架。具体而言，在训练阶段，我们学习每个模态的模态分裂关系嵌入，而不是单个模态共享，从而减轻了模态干扰。基于这些嵌入，在推理阶段，我们首先进行模态分裂预测，然后利用各种集成方法将预测与不同的权重组合在一起，从而动态地建模模态重要性。在三个KG数据集上的实验结果表明，MoSE优于最先进的MKGC方法。代码可在https://github.com/OreOZhao/MoSE4MKGC上获得。
1.介绍
多模态知识图谱（MKGs）以实体和关系的形式组织多模态事实，并已成功应用于各种知识驱动的任务（如 Marino 等，2019；Sun 等，2020；Zhang 等，2018；Zhu 等，2022）。为了解决 MKG 中固有的不完整性问题，提出了多模态知识图谱补全（MKGC）（如 Xie 等，2016，2017），该方法利用辅助的视觉或文本信息来帮助预测缺失的实体。如图 1a 所示，给定头实体 “Friends” 和关系 “country”，MKGC 需要预测尾实体 “The United States of America”。可以观察到，附加于实体的描述为实体预测提供了补充信息。
现有的MKGC方法通常在一对实体的所有模式上共享一个公共关系嵌入，从而将来自不同模式的多个关系紧密耦合。我们将MKGC的这种范式定义为紧耦合关系（TCR）。如图1b所示，根据不同模态关系的耦合方式，现有方法大致可分为两类：隐式TCR （I-TCR）方法和显式TCR （E-TCR）方法。I-TCR方法（Wang et al, 2021, 2019）通常首先将实体的多模态信息融合到单个嵌入中，然后在嵌入的基础上学习统一的关系表示。E-TCR方法(Mousselly-Sergieh et al ., 2018；Xie et al ., 2016, 2017)直接对实体的独立多模态信息之间的关系进行建模，而不进行融合。它们通常学习一个单一的关系嵌入来同时表示所有的模态内和模态间关系。
- 现有的MKGC方法虽然取得了不错的效果，但由于TCR的限制，存在两方面的问题：(1)模态关系矛盾。TCR通常只用一个嵌入同时表示来自不同模态的多个关系。然而，对于一对实体，来自一个模态的关系可能与来自另一个模态的关系相矛盾。例如，如图1a所示，实体“美国情景喜剧”的描述；给实体；✁美利坚合众国，而图像没有。TCR的内在矛盾导致了MKGs表征学习过程中的模态干扰。(2)模态差异无知。基于TCR的现有方法通常对不同模态的输入进行平等对待，进行统一预测，忽略了模态重要性的差异。然而，不同的模式在数据质量和实体覆盖范围方面各不相同，并应在不同程度上有助于最终预测。
为了克服上述限制，我们提出了一个模态分裂学习和集成推理框架，MoSE。如图1b所示，在训练阶段，MoSE对TCR进行解耦，学习多个模态分裂的关系嵌入，而不是单个模态共享的关系嵌入，从而缓解了模态之间的相互干扰。在推理阶段，MoSE首先基于模态分裂嵌入对每个模态分别进行预测，然后将它们合并到最终的预测中。我们探索了模态预测与各种集成方法的最佳组合，并通过动态调节模态权重来建立模态重要性模型。在三个广泛使用的数据集上的实验结果和分析表明，MoSE在MKGC任务中优于目前最先进的方法。
总的来说，本文的贡献可以概括为以下几点：
- 据我们所知，我们是第一个在MKGC任务中处理关系表示的模态矛盾和讨论模态重要性的人。
- 我们提出了一个用于MKGC的模态分裂学习和集成推理框架MoSE，该框架在训练阶段将嵌入的紧密耦合关系解耦为模态分裂关系，并在推理阶段自适应地调节模态重要性。
- 在三个数据集上的实验结果表明，MoSE优于9个基线，在MKGC任务中获得了最先进的性能。结果还表明，文本模态是MKGC的有效补充，而不是视觉模态
2.相关工作
现有的MKGC研究主要集中在扩展单模态知识图嵌入（KGE）模型，进一步挖掘多模态信息。我们注意到，对于MKG中的一对实体，现有的多模态KGE方法都利用模态共享关系嵌入，将来自不同模态的多个关系紧密耦合，我们称之为紧密耦合关系（TCR）。我们将现有的方法分为两类：隐式紧密耦合关系（ITCR）方法和显式紧密耦合关系（E-TCR）方法。
2.1 Implicit TCR Methods
I-TCR方法（Wang et al ., 2021, 2019）将多个模态融合为统一的实体嵌入，并利用共享的关系表示，如图1b所示。因此，习得的关系隐含地融合了多模态关系。TransAE （Wang等人，2019）通过自动编码器将视觉和文本信息融合到实体表示中，对TransE进行了扩展。最近，RSME （Wang et al ., 2021）注意到了视觉模态中的噪声，并提出了一种遗忘门来调整图像与实体嵌入的融合率，达到了最先进的SOTA性能。虽然I-TCR方法有很大的改进，但它们忽略了模态共享关系表示中的模态矛盾。此外，他们做出统一的预测，而不评估模态信息是否与最终预测相关。就SOTA RSME而言，视觉信息的融合比例取决于图像信息本身，即相似性，而不考虑模态对最终预测的重要性。
2.2 Explicit TCR Methods
E-TCR方法(Mousselly-Sergieh et al ., 2018；Xie等人，2016,2017)利用共享关系嵌入，将模内和多式联运实体之间的多个关系紧密耦合。E-TCR方法在所有模态中学习表示的总分：结构-结构、结构-视觉/文本、视觉/文本-结构、视觉/文本-视觉/文本，所有这些都通过一个单一模态共享的关系嵌入连接起来，如图1b所示，它明确地紧密耦合了多个关系。DKRL （Xie et al ., 2016）和IKRL （Xie et al ., 2017）分别用文本和视觉模态扩展TransE。MKB （MoussellySergieh et al ., 2018）将IKRL （Xie et al ., 2017）从视觉模态扩展到视觉文本多模态。虽然E-TCR方法将多模态特征投射到一个共同的潜在空间，但并没有消除不同模态之间关系的内在语义矛盾。此外，它们利用多模态实体的加权串联来进行统一预测，也没有考虑模态的重要性。
3 Methodology
3.1 Preliminaries
3.2 Overview
图2显示了用于多模态知识图完成任务的模态分裂学习和集成推理框架MoSE。我们首先将TCR解耦为对应于每个模态的模态分裂关系嵌入。利用解耦的TCR，我们为每个模态构造了模态分裂的三重表示，以防止表示中的模态干扰。通过KGE分数函数，将模态拆分表示解码为相应的分数分布。在训练阶段，我们同时训练具有模态内得分的模态分裂实体和关系表示。考虑到视觉模态和文本模态通常比结构模态包含更多的矛盾和不确定噪声，我们对这两种模态应用了置信度约束训练目标。在推理阶段，我们利用集成推理将模态分裂的预测组合起来，得到最终的预测。针对模态重要性的建模，探讨了三种集成推理方法。
5 Conclusion
在本文中，我们提出了一种新的多模态知识图完成的模态分裂学习和集成推理框架MoSE。MoSE首先将模态共享关系嵌入解耦为模态分裂关系嵌入，并在训练阶段进行模态分裂表示学习，以克服模态关系矛盾。然后，MoSE利用三种集成推理技术通过评估模态重要性来组合模态分裂预测。实验结果表明，在三个广泛使用的数据集上，MoSE优于当前最先进的MKGC任务方法。