当前位置: 首页 > >

论文浅尝 | 学*开发知识图谱中的长期关系依赖

发布时间:

本文转载自公众号:南大Websoft。 ?
分别表示头实体和尾实体,r?表示它们之间的关系。例如,三元组 (Tim Berners-Lee, country, United Kingdom) 描述了 Tim Berners-Lee?的国籍为 United Kingdom?这一事实。


?


通常情况下,单个知识图谱很难满足各类应用所需的全部知识。因此,知识图谱领域的学者们提出了两类相关任务:


    实体对齐 (entity alignment),其通过发现不同知识图谱中指称真实世界相同对象的实体的方式,将两个知识图谱链接起来,从而得到一个规模更大、信息更丰富的联合知识图谱。

    知识图谱补全 (knowledge graph completion),其主要目的在于利用单个知识图谱中的已知信息,通过推理和预测的方式补全该知识图谱所缺失的三元组,譬如预测 (Tim Berners-Lee, employer, ?) 或 (?, employer, W3C) 中的 ?。


    ?


    目前大多数知识图谱嵌入方法都假设相似的实体会拥有相*的关系,因此这些方法更关注知识图谱中的三元组,即一阶邻居关系。但是,基于三元组的学*方式存在两个局限性:一是表达能力低,这是因为这种方式只能从一阶邻居的视角来学*实体的嵌入表示,而知识图谱中存在着大量拥有类似一阶关系的实体,比如有相同的国籍、出生地等。二是语义信息传递效率低,这是因为这些方法只能依靠周围的一阶邻居传递语义信息,而一个实体嵌入所能包含的信息是有限的,这意味着并不能将所有的邻居信息完整地传递到周围。


    ?


    相较于三元组,路径能够提供更长、更具区分性的实体间依赖关系,一条知识图谱路径可以用如下方式表示:



    均为 d × d 的权重矩阵,b 为偏置向量。显然,该循环神经网络中的参数只有?Wh,?Wx, b 三项,但能够建模任意长度的知识图谱路径。


    ?


    值得注意的是,RNNs 无法识别出知识图谱路径中的三元组结构,包括:


      路径中“实体-关系-实体-关系”交错的链式结构;

      当预测一个关系的尾实体时,其头实体更加重要,比如推测 employer -> W3C 时,Tim Berners-Lee 是相对更重要的元素。



      的输出隐态,ht 为对应的传统循环神经网络的输出隐态。S1, S2?为权重矩阵,它们的参数在不同时刻是共享的。本文采用了带权相加的方式进行跳跃操作,但其他方法,例如拼接等,也能够使用。下图展示了循环跳跃网络处理一个长度为 5 的知识图谱路径的例子。



      F(x) 表示原始的网络映射函数,其中 x 代表网络的输入,并用 H(x) 表示理想的网络映射。传统残差网络认为,相比于直接优化网络使 F(x) 去拟合 H(x),以一种差残的方法去优化 F(x),使其学* H(x) ??x 更为容易。例如,当理想的网络映射为 H(x) =?x 时,通过多层复杂的神经网络来学*这个恒等映射将十分困难。相反,学*残差部分 (即 0 函数) 则十分简单。


      ?


      循环跳跃网络更关注于“浅层”网络的拟合,而非训练层数很深的网络。这是因为,循环跳跃网络中的跳跃机制并非将位置靠前的输入尽可能地传递到深层网络中,而是关注如何建模知识图谱路径中的每个三元组。具体来讲,给定一条知识图谱路径 (..., xt?1,?xt, xt+1, ...),其中 (xt?1,?xt,?xt+1) 构成一个三元组。该跳跃机制直接引入了三元组中对应的头实体作为减数,因此循环跳跃网络所采用的残差学*是三元的。具体如下:




      -> W3C 时,令 F([?], employer) :=?W3C?可能很难,因为上下文 [?] 包含了所有之前元素的信息。而令 F([?], employer) := W3C ? Tim Berners-Lee 却让网络的优化变得简单,因为对于推测一个关系的尾实体来讲,头实体起着更加重要的作用。








      基于 RSNs 的知识图谱嵌入框架




      本文还提出了一个端到端的知识图谱嵌入框架。目前大多数方法都只关注于单个知识图谱嵌入任务,比如知识图谱补全或实体对齐。ConvE、RotatE 在知识图谱补全任务上有着领先水*的性能,但在实体对齐任务上却失去了优势。本文所提出的框架能够同时在两种不同的任务上取得优秀的表现。


      ?


      如下图所示,该框架首先使用有偏随机游走方法采样出一组具有深度和跨知识图谱偏好的路径,接着利用 RSNs 进行建模。根据每一步预测目标的不同,采用基于类型的噪音对比估计方法评估模型损失。








      实验与分析


      ?


      实体对齐


      实验结果如表中所示,RSNs 在所有数据集上均有明显的优势,尤其是在两个跨知识图谱数据集 DBP-WD 和 DBP-YG。通过对比框架中采用有偏 / 无偏随机游走采样方法,可以看出使用有偏随机采样的方法具有更好的性能,尤其是在 Hits@10 上。







      知识图谱补全


      通过将三元组视为长度为 3 的路径,可以将 RSNs 应用于知识图谱补全任务中。但值得注意的是,两者的目标不完全一致,RSNs 学*的是更长的路径而非三元组,但仍取得具有竞争力的结果。







      与其他替代网络的对比


      本文还验证了 RSNs 中跳跃机制的有效性,其中 RRNs 为直接结合 RNNs 与残差学*的一种方法。从结果可以看出 RSNs 显著提升了模型的收敛速度与性能,而仅仅加入残差网络到 RNNs 并不能有效提升性能。







      预对齐实体对比例对结果的影响


      还研究了预对齐实体对比例对结果的影响。从结果可以看出,随着比例的下降,两种方法性能都有所降低。但 RSNs 下降的曲线更*缓,这意味着其对预对齐实体对的依赖更低。





      ?


      路径长度对结果的影响


      还验证了路径长度对结果的影响。可以看出,在一定范围内,随着路径长度的增加,RSNs 的性能逐步提升。在长度为 15 左右时,增速开始放缓,直至收敛。该实验验证了更长的路径对于知识图谱嵌入学*的作用。








      OpenKG




      开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。



      点击阅读原文,进入 OpenKG 博客。



友情链接: