知识图谱推理：现代的方法与应用

时间：2022-09-14 09:00:00 hr系列传感器 cr表示继电器继电器连接器te

摘要：

知识图谱推理技术再根据已有的知识推导出新的知识，是机器智能具有和人类一样的推理能力和决策能力的关键性技术，系统的研究了知识图谱推理的现代方法，通过统一的架构介绍了向量空间中进行知识图谱推理的现代方法，通过统一的架构介绍了向量空间中进行知识图谱推理的模型，包括基于几何运算嵌入欧几里得空间和双曲空间的方法，基于卷积神经网络、胶囊网络、图形神经网络等深度网络模型的方法，系统梳理各技术领域和行业知识推理技术的应用，指出当前的挑战和机遇。

关键词：

知识推理、双曲空间嵌入、几何运算、胶囊网络、图神经网络。

介绍：

近年来，知识图谱技术得到了极大的发展，建立了大量的知识图谱，并得到了广泛的应用
广泛应用于各种场景。从语义分析、实体消歧、信息提取、智能问答、推荐系统、个性化搜索等技术方向到金融、军工、制造、生物医学等行业，可以看到知识地图的应用，知识地图的应用也在促进知识地图技术的发展。知识图谱是事实或知识的结构化表示，是由实体和实体间的关系组成的网状结构。实体是指能够区别于其他事物的独立、特征清晰的事物。用知识图谱中，用来描述这些事物的信息是实体。实体在属性图中用顶点表示，实体关联的类型为实体类型，在属性图中用顶点标签表示。这种关系表达了两个实体之间的某种语义关系，通常用语义标签表示，并在属性图中表示为向边。也就是说，知识图谱G由一系列三元组组成组成，h和t头实体和尾实体分别表示，r表示由h t的有向关系。推理是人类逻辑思维的目标，使机器能够像人类一样具有推理能力。在知识图谱中提出和发展符号推理和专家系统是早期的尝试
此后，基于知识地图的推理技术[1-2]也发展起来，成为人工智能中非常受欢迎的领域之一。它也被认为是G关键技术，具有与人类相同的推理和决策能力。在知识地图推理中，知识地图本身提供了人类知识和经验的总结，而推理技术实现了基于知识地图中现有知识的潜在和未知知识，大大扩展了知识问答、个性化搜索和智能推荐等能力。同时，在行业应用中，将领域知识地图与推理技术相结合，实现辅助分析和决策支持。
本文定义了知识推理，介绍了知识地图推理技术；然后介绍了基于几何操作和深度学习的现代知识地图推理技术，从技术和行业两个角度介绍了知识地图推理技术的应用；最后给出了知识地图推理的挑战和值得关注的研究方向。

2.知识图谱推理

知识图谱推理旨在从现有知识中找到新的知识。新的知识可以分为两种：新的实体和新的关系。新的实体涉及的技术领域通常是实体抽取、实体消歧、实体融合等相关的自然语言处理或知识图谱技术。新关系涉及的技术领域包括关系提取和知识推理。知识图谱推理，或知识推理，是指在既定的知识图谱中，通过推理技术推导实体之间在或新的关系，发现新的知识。链接预测常被称为图数据库、图论等相关领域。
知识图谱推理技术是伴随着人工智能、自然语言处理、语义网等技术发展起来的。在早期阶段，有一种基于规则的方法识图谱NELL[3]利用手写规则的推理方法不断扩大规模。一阶逻辑（first order logic，FOL）是早期的符号号推理该系统也用于知识图谱推理[4]。针对繁琐的手写规则，马尔可夫逻辑网络可以结合规则和统计学习（Markov logic network，M LN ）[5-7]，ＭLN是经典的推理方法。知层次结构和逻辑结构通常表示为本体（ontology）或模式（schema），基于本体的推理方法是知识图谱推理的经典方法之一，在实际应用中也很常见意义方法[8]。随机游走（random walk）它是概率统计中经典的随机过程，在知识图谱推理中应用于著名的路径排序算法（path ranking algorith m，PRA）[9]与深度强化学习相结合的深度路径（deep path）方法[10]。近年来，随着基于深度学习的人工智能技术的蓬勃发展，将知识地图嵌入低维空间的方法逐渐成为主体流，TransE[11]是先锋之一。
本文从TransE模型从自然语言处理领域开始的word2vec。适合深度学习潮流的最佳、主流的方法，又称现代的方法。这种方法可以学习知识图谱的致密向量表示，即知识图谱领域的表示学习。对于学习的致密向量，不仅可以直接推理应用，还可以使用知识问答或辅助决策等各种深度学习模型和算法来实现下游任务。
知识图谱G={}?E×R×E，E是实体集合，h、t∈E；R为关系集合，r∈R。现代知识图谱推理方法的目标是定义评分函数 fr(h,t)学习表达实体和关系的向量 $h,t\epsilon R^{d},r \epsilon R^{d}$ 所示，其中→表示映射：
$f_{h,t}:R^{d}xR^{d}xR^{d} \rightarrow R$

3、基于几何运算的方法

基于几何运算的模型是从word2vec延伸出来的，将知识图谱通过平移或旋转等几何运算嵌入低维的几何空间中（通常是欧几里得空间，也可以是双曲空间等）。其中平移表现为向量加法，旋转表现为哈达玛积（Hadamard product），嵌入则是一个数学中与流形相关的概念，表达一个数学结构的实例通过映射包含到另一个实例中。将知识图谱嵌入几何空间时，解决知识图谱中不同特点的关系的推理问题，从而推进基于几何运算的方法的发展，这些特点包括一对一、一对多、多对一、多对多[13]、对称性（symmetry）、反对称性（anti-symmetry）、反向性（inversion）和组合性（c omposition）[14]等。

3.1 欧几里得空间嵌入

知识图谱推理的现代方法的雏形是word2vec，并从TransE模型开始逐渐发展起来。图1表示了word2vec 模型学习出来的词向量满足： $w_{广东省}-w_{广州市}=w_{浙江省}- w_{杭州市}$ ，其隐含的关系“省会”（图1中虚线）没有被明确表示出来。TransE 将word2vec中隐含的关系用向量明确地表示出来，并应用到知识图谱中。
在这里插入图片描述
基于几何运算的知识图谱推理在TransE[11]的基础上持续发展。TransE把实体间的关系用向量明确地表示出来，并用几何平移来解释实体间的关系。如下图所示：

继TransE后大量平移或旋转的方法被提出来，这些方法和TransE一样使用欧氏距离来计算打分函数，使用基于能量的方法来定义损失函数，并用随机梯度下降来优化模型。
TransE将实体和关系嵌入同一个空间中，并定义打分函数为：
$f_{r}(h,t)=||h+r-t||_{2}^{2}$
式子中：||·||2表示 L2范数（L2 norm），TransE模型对仅有一对一关系的知识图谱非常友好，能够学习出各种具有反对称性、反向性和组合性的关系。其结构简单、运算量小，是某些现实场景的首选方法。
TransH拓展了TransE模型，为每个关系学习嵌入空间中一个超平面 $W_{r}(||W_{r}=1)$ 。并且将三元组解释为实体在关系平面的平移变换。如图所示：

TransH先将实体向量h和t映射到关系超平面Wr 上，得到 $h^{'}=h-W_{r}^{T}hW_{r}$ 和 $t^{'}=t-W_{r}^{T}tW_{r}$ ，并且将关系表示为超平面上的平移变换，即向量加法 $h^{'}+r=t^{'}$ ,由此可以得到TransH的打分函数如下：

TransH模型通过关系特定的超平面，实现了自反、一对多、多对一和多对多的嵌入表示。
TransR模型将实体和关系分别嵌入不同的几何空间，使得相同的实体在不同的关系下能够表示不同的语义，进一步增强知识图谱的推理能力：

TransR通过映射矩阵 $M_{r} \epsilon R^{dxd}$ 将实体向量 $h, t$ 映射到关系空间中得到 $h_{r}=hM_{r}$ 和 $t_{r}=tM_{r}$ ,并且在关系空间中进行平移变换，即 $h_{r}+r=t_{r}$ ,因此TransR的打分函数定义为：

TransD模型 [16]用实体映射向量 $h_{p},t_{p} \epsilon R^{d}$ 和关系映射向量 $r_{p} \epsilon R^{d}$ 来构造映射矩阵 $M_{n}=r_{p}h_{p}^{T}+I^{dxd}$ 和 $M_{n}=r_{p}t_{p}^{T}+I^{dxd}$ ，其中（I表示单位矩阵），并代替TransR中的映射矩阵Mr，使得模型能够表达实体在不同关系中潜在的多个语义关系。由于向量乘法效率高于矩阵乘法，将TransD模型应用于大规模知识图谱中具有计算效率上的优势。类似地，TransD的打分函数为：

可以看出，TransE、TransH、TransR和TransD 4个模型一脉相承，都是用欧几里得空间中的平移来解释实体间的关系，并用欧氏距离来表示分数。进一步地，TransG模型[17]对这一模式进行了泛化建模，并用贝叶斯参数无限混合模型（Bayesian non-parametric
infini te mixture model）[18]和中国餐馆过程（Chinese restaurant process，CRP）来解决关系的多语义表达问题。
TransG的打分函数是：

总体来说，TransG模型能够表示关系的多种语义。对其进行主成分（primary compo nent）分析可知，TransE 模型是TransG 模型针对主成分的特例，而TransG则是TransE的泛化，图3展示了两个模型。

旋转和平移是几何空间的基本操作。RotatE[14]使用旋转代替平移对关系进行建模，图4展示了RotatE与TransE的区别。

同时，为了表达旋转，实体和关系的嵌入向量从实数扩展到复数向量空间。旋转在复向量空间的运算表示为向量的哈达玛积，即每个元素分别相乘的运算，这个与平移操作的加法是类似的。对于，RotatE将实体和关系嵌入复向量空间 $h,r,t\epsilon C*{d}$ ，定义打分函数为：

其中，〇表示哈达玛积，模型将向量限制在单位圆中，并解释为逆时针的旋转，作用于复向量的相位部分。与平移的方法相比，RotatE能更加高效地实现对称和反对称、
反向和组合这些关系类型的建模。例如， $r=e^{0/i \pi }= \pm1$ 可以表示关系 r是对称的，r1 和 r2是共轭的，可以表示两个关系 r1和 r2是反向的，r3=r1〇 r2可以表示 r3是 r1和 r2的组合。RotatE对具有如上特点的知识图谱推理能够事半功倍。

3.2 双曲空间嵌入

双曲空间（hyperbolic space）是具有常数负曲率的齐次空间，而欧几里得空间则是零曲率的。双曲几何提供了高效的方法来学习层次数据的低维嵌入，特别的，仅仅用二维的双曲空间就能够以任意低的失真度嵌入树形数据。也就是说将类似知识图谱这样具有丰富层次结构的数据嵌入双曲空间中，比嵌入欧几里得空间更加高效。双曲空间嵌入通常使用d维庞加莱球：

来表示，其中d表示庞加莱球的维度，-c表示曲率，庞加莱球的远点和对应的切线空间 $T_{0}^{c}$ 是从原点离开的所有可能路径的方向的d维向量空间。切线空间 $T_{0}^{c}$ 到 $B_{c}^{d}$ 的映射通过指数映射实现，而 $B_{c}^{d}$ 到 $T_{0}^{c}$ 通过对数映射来实现：

在双曲空间中，向量x、y的加法通过莫比乌斯加法⊕c实现，向量y和矩阵M的乘法通过莫比乌斯矩阵-向量乘法⊗c实现，分别定义如下：

其中， x y 表示两个向量的内积，其结果是个标量。类似欧几里得空间的欧氏距
离，双曲空间距离[21-22] 定义如下：

在双曲空间中，三元组对应的d维向量 $h,t,r\epsilon B^{d}_{c}$ ，其中c表示双曲空间的曲率。和欧几里得空间一样，模型通过打分函数 $f_{r}(h,t)$

锐单商城拥有海量元器件数据手册、IC替代型号，打造电子元器件IC百科大全！

知识图谱推理：现代的方法与应用

相关文章