Injecting Knowledge Base Information into End-to-End Joint Entity and Relation Extraction and Coreference Resolution

作者：Verlinden et al., ACL 2021.

目录

• 简介
• 方法
• 实验

1 简介

本文做多任务联合信息抽取，包括三个子任务分别为NER、Coref、RE。主要工作是加入了知识库信息，具体加入KB的实体表示得到增强的实体表示，依次为基础做三个子任务。

2 方法

整体结构如图1所示，结构清晰明了。

• Glove和character embedding的拼接作为token的embedding。
• 过BiLSTM得到context的token表示。
• 给定span位置，如token \(l\)到token \(r\)取span头尾的token表示以及span width embedding拼接得到span表示。
• 过Span pruner，过滤span，文中没细说用的另一篇的方法。看过的方法比如限制span宽度或者直接将非 entity span的去掉。之后作为输入喂给KB moudle。
• KB moudle核心部分：加入KB的span。假设知识库为知识图谱，当前span为\(span_{lr}\), 那么通过实体链接找到图谱中\(span_{lr}\)的所有候选的实体，将这些实体的表示与\(span_{lr}\)相结合，文中尝试了三种结合方式，分别为单纯使用实体链接对于每个候选实体的先验概率做加权求和或使用attention或attention与先验概率一块用即AttPrior，如图1中KB moudle的展开部分。
• 将增强的entity span作为IE 联合抽取模型的输入，分别做NER、Coref、RE。其中，NER和RE都是采用简单的FFNN多分类，Coref采用Lee et al. (2017)中共指消解的方法。

3 实验

数据集：DocRED (Yao et al., 2019)、DWIE (Zaporojets et al., 2021) ，表2为不同KB来源的结果。

可以看到相比无任何KB信息的baseline，加入KB的信息之后，在两个数据集中的三个子任务都有不错的提升。

• 结合KB信息有用且文中用的这两个KB即KB-text和KB-graph有一定的互补
• 对于如从知识图谱中得到的候选实体表示的结合方式，最后实验证明AttPrior好一些。

参考

[1] Severine Verlinden?, Klim Zaporojets?, Johannes Deleu, Thomas Demeester, Chris Develder.Injecting Knowledge Base Information into End-to-End Joint Entity and Relation Extraction and Coreference Resolution.ACL 2021.

[2] 知识图谱-实体链接.https://zhuanlan.zhihu.com/p/81073607.

[3] 笔记.https://ivenwang.com/2021/06/26/injecting-knowledge-base-information-into-end-to-end-joint-entity-and-relation-extraction-and-coreference-resolution/.