知识图谱构建理论与方法研究论文

本文主要内容整理自知识图谱两篇代表性综述： 1. 徐增林,盛泳潘,贺丽荣,王雅芳. 知识图谱技术综述[J]. 电子科技大学学报(4期):589-606. 2. 刘峤, 李杨, 段宏, et al. 知识图谱构建技术综述  [J]. 计算机研究与发展, 2016(3):582-600,共19页. 文章从知识图谱的定义和技术架构出发，对构建知识图谱涉及的关键技术进行了自底向上的全面解析。本文是对涉及技术点的罗列，后续会针对单个技术点一一梳理。 所解决的问题  如何从半结构化和无结构数据中抽取实体、关系以及实体属性等结构化信息。 涉及的关键技术  实体抽取 Entity Extraction 也称命名实体识别（Named Entity Recognition, NER），指从文本数据集中自动识别出命名实体。 关系抽取 Relation Extraction 指从相关语料中提取出实体之间的关联关系，通过关系将实体（概念）联系起来。 属性抽取 Attribute Extraction 指从不同信息源中采集特定实体的属性信息，例如抽取某个公众人物的昵称、生日、国籍、教育背景等信息。 所解决的问题  将现实世界中的各类知识表达成计算机可存储和计算的结构。  涉及的关键技术  传统的知识表示方法主要是以RDF(Resource Description Framework资源描述框架)三元组SPO(subject,property,object)来符号性描述实体之间的关系，近年来，以深度学习为代表的表示学习技术也取得了重要的进展。 所解决的问题 信息抽取结果中可能包含大量的冗余和错误信息，数据之间的关系也是扁平化的，缺乏层次性和逻辑性，通过知识融合，可以消除概念的歧义，剔除冗余和错误概念，确保知识质量。 关键技术 实体链接 Entity Linking指对于从文本中抽取得到的实体对象，将其链接到知识库中对应的正确实体对象的操作。主要涉及两方面： ▪ 实体消歧Entity Disambiguation 用于解决同名实体产生歧义问题的技术。例如“李娜”（指称项）可以对应于作为歌手的李娜这个实体，也可以对应于作为网球运动员的李娜这个实体。 ▪ 共指消解Entity Resolution 也称实体对齐（object alignment）、实体匹配（entity matching）、实体同义（entity synonyms）等，用于解决多个指称项对应于同一实体对象的问题。例如在一篇新闻稿中，“Barack Obama”，“president Obama”，“the president”等指称项可能指向的都是“奥巴马”这同一个实体。 知识合并 指从第三方知识库产品或已有结构化数据获取知识输入。 所解决的问题 信息抽取和知识融合可以得到一系列基本的事实表达。但事实不等于知识，要想最终获得结构化、网络化的知识体系，还需要经历知识加工的过程。 涉及的关键技术  本体构建 Ontology Extraction 本体（ontology）是对概念进行建模的规范，是描述客观世界的抽象模型，以形式化方式对概念及其之间的联系给出明确定义。 知识推理 Knowledge Inference 指从知识库中已有的实体关系数据出发，经过计算机推理，建立实体间的新关联，从而拓展和丰富知识网络。 质量评估 Quality Evaluation 对知识的可信度进行量化，通过舍弃置信度较低的知识，保障知识库的质量。 所解决的问题 知识图谱的内容需要与时俱进，其构建过程是一个不断迭代更新的过程。主要包括概念层的更新和数据层的更新。 ▪ 数据层更新： 主要是新增或更新实体、关系和属性值等。 ▪ 模式层更新： 指新增数据后获得了新的模式，需要自动将新的模式添加到知识库的模式层中。

前言及背景：在构建知识图谱的过程中，大量知识信息来源于文档和网页信息，在从文档提取知识的过程中往往会有偏差，这些偏差来自于看两方面：

（1）文档中会有很多噪声信息，即无用信息，它的产生可能来自于知识抽取算法本身，也可能和语言文字本身的有效性有关；

（2）文档信息量有限，不会把所有知识都涵盖进去，尤其是很多常识性知识。

以上都会导致知识图谱是不完整的，所以 知识图谱补全 在构建知识图谱中日益重要。 通过 已获取的知识 来对实体间进行关系预测，以达到对实体间关系的补全，也可以是实体类型信息的补全。该过程可以利用本知识库内部的知识，也可以引入第三方知识库的知识来帮助完成。 整理了一份200G的AI资料包： ①人工智能课程及项目【含课件源码】 ②超详解人工智能学习路线图 ③人工智能必看优质书籍电子书汇总 ④国内外知名精华资源 ⑤优质人工智能资源网站整理（找前辈、找代码、找论文都有） ⑥人工智能行业报告 ⑦人工智能论文合集 /","uri":"","width":31,"height":27,"darkImgUrl":"","darkImgUri":"","formulaImgStatus":"succeed"}" class="syl-plugin-formula"> 资料在网盘里排列的非常整齐干净！希望对大家的学习有所帮助， 私信备注【05】添加领取

知识图谱补全分为两个层次： 概念层次的知识补全 和 实例层次的知识补全 。 往往提到知识图谱构建过程中只是提及了实体和关系的抽取，然后就可以生成实体和关系组成的RDF了。 但是，仅仅获取三元组是不够的，还要考虑这些，因为三元组中的实体除了具有属性和关系之外，还可以 映射关联到知识概念层次的类型（type），而且一个实体的类型可以有很多 。

例如：实体奥巴马的类型在不同关系中是有变化的。 在出生信息描述中，类型为人；在创作回忆录的描述中其类型还可以是作家；在任职描述中还可以是政治家。 实体类型的概念层次模型 在这里：人、作家、政治家这些概念之间是有层次的，也就是所说的概念的层次模型。 1、概念层次的知识补全——主要是要解决实体的类型信息缺失问题 正如前面的例子所描述，一旦一个实体被判别为人这个类型，那么在以构建好的知识模式中，该实体除了人的类型外仍需要向下层概念搜索，以发现更多的类别描述信息。 （1）基于描述逻辑的规则推理机制。 本体论和模式 ：实体都可以归结为一种本体，而这种本体会具有一组模式来保证其独特性，这组模式可以用规则来描述，因此，对于本体而言，其可以由这组规则来描述。 例如，奥巴马是个实体，他的本体可以归为人，而人的模式就是可以使用语言和工具、可以改造其他事务等等，这些模式可以通过规则来描述，于是基于描述逻辑的规则推理方法就出现了。 描述逻辑 是一种常见的知识表示方式，它建立在概念和关系之上。 比如，可以将关于人的实体实例（可以是文本）收集起来，从中提取出其中模式并以规则的形式记录下来，这样一来，只要遇到一个新的实体实例 ，只需将其代入到之前记录下的规则中进行比较即可做出判断，如果符合规则，就说明该实例可以归类为人的概念类型，否则就判定为非此概念类型。 （2）基于机器学习类型推理机制 经过基于描述逻辑的规则推理的发展阶段后，机器学习相关研究开始占据主流，此时 不是单纯地利用实例产生的规则等内部线索来进行判断，同时也要利用外部的特征和线索来学习类型的预测 。 对一个未知类型实体e1而言，如果能找到一个与其类似的且已知类型的实体e2的话，那么就可以据此推知实体e1的类型应该与e2的类型一致或至少相似。 此类方法主要可以分为：基于内容的类型推理、基于链接的类型推理和基于统计关系学习的类型推理（如，Markov逻辑网）几个方向。 （3）基于表示学习类型推理机制 将嵌入式学习和深度学习引入到类型推理，基于机器学习的类型推理方法大多假设数据中没有噪声，且其特征仍然需要认为选择和设计，引入深度学习可以避免特征工程。而类型推理要依据文本内容，也需要链接结构等其他特征的支持，此时嵌入式方法可以发挥其自身优势。

2、实例层次的知识补全 可以理解为：对于一个实例三元组（SPO，主谓宾），其中可能缺失情况为（？，P，O），（S，？，O）或者（S，P，？），这就如同知识库中不存在这个三元组，此时需要预测缺失的实体或者关系是什么。 事实上， 很多缺失的知识是可以通过已经获得的知识来推知的 ，有时这个过程也被称为 链接预测 。 注意 ：有时知识不是缺失的，而是 新出现 的，即出现了新的三元组，且这个三元组不是原知识库所已知的知识，此时需要将其作为新知识补充道知识库中，但此种情形 不是传统意义的补全 。 （1）基于随机游走的概率补全方法 （2）基于表示学习的补全方法 知识图谱嵌入流程： ①结构嵌入表示法 ②张量神经网络法 ③矩阵分解法 ④翻译法

（3）其他补全方法 跨知识库补全方法、基于信息检索技术的知识库补全方法、知识库中的常识知识补全

面临的挑战和主要发展方向： （1）解决长尾实体及关系的稀疏性。 知名的明星的关系实例会很多，而对于普通民众的实例就很少，但是他们数量却众多，导致其相关的关系实例也是十分稀疏，而且在数量不断增加的情况下，这种情况会更加明显。 （2）实体的一对多、多对一和多对多问题。 对于大规模数据，不是一对十几或者几十数量级那么简单，而是成百上千的数量级，传统的解决方案无法有效深圳根本无法解决此种数量级别的关系学习问题。 （3）三元组的动态增加和变化导致KG的动态变化加剧。 新知识源源不断的产生，而之前的知识可能被后面证明是错误的，或者需要修正的。这些都会使得知识补全的过程也需修正改变，如何使得知识图谱补全技术适应KG的动态变化变得越来越重要，而这方面的技术还未引起足够的重视。 （4）KG中关系预测路径长度会不断增长。 关系预测能推理的长度是有限的，但在大规模知识图谱闪光，实体间的关系路径序列会变得越来越长，这就需要更高效的模型来描述更复杂的关系预测模型。