An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning

作者: Markus Eberts.Adrian Ulges

目录

• 简介
• 方法
• 实验
• Todo

1 简介

本文主要任务是文档级别的实体关系联合抽取。与之前的工作相比，对于联合抽取任务，之前大多是句子级别的，没有用上跨语句的信息往往有时候三元组信息需要跨语句得到，而对于文档级别的关系抽取，之前大多是只做关系抽取任务即给定entity mentions的信息或标注来做关系抽取。

为了能够实现doc-level的联合抽取，作者采用了多任务的方法结合mutil-instance 学习(这应该是DocRE常用的方法)，大致可以分为四个子任务分别为mention detection, coreference resolution, entity classification and relation extraction，其中前三个子任务都是直接follow之前的方法，在第四个任务即关系抽取上提出新的关系表示。

2 方法

整体结构图如下Figure 2：(涉及很多之前的工作以及DocRE，这部分没看过所以具体怎么实现的细节不懂只能理解个大概，后续再补一下吧)

即图中的(a)(b)(c)(d)四个子任务，下面依次简单描述具体实现：

(a) Entity Mention Localization

类似(Lee et al., 2017) 中基于span的方法(没看过，补，感觉类似嵌套排列获取span)获取doc中所有的span，对于每一个span，我们对span中的所有token最大池化得到span表示。之后使用二分类器，span表示以及span宽度embedding的拼接作为分类器输入，来判断span是否为某个实体的mention(表述，如图1)得到entity mentions的集合。

其中，\(\circ\)表示拼接。

(b) Coreference Resolution

共指消解也是DocRE常用的，个人理解类似将entity mentions聚类，识别那些指向同一实体的表述。

也参照之前的工作，用叫做mention-pair的方法简单处理，即同样使用一个二分类器判断两个mentions之间的相似度，若共有s个mention，那么两两判断即\((s_1,s_2) \in \mathcal{S} \times \mathcal{S}\), 其中将两个mentions的span表示以及两者之间的距离embedding拼接作为输入。

(c) Entity Classification

实体分类即判断实体类型。经过前两步之后得到一个个entity clusters由entity mentions构成，对于每个entity clusters将其中所有的entity mentions的span表示最大池化处理得到实体表示，之后喂给多分类器预测类型。

(d) Relation Classification

根据实体信息，判断每个实体对的关系类型，文中采用两种方式实现。

• Global Relation Classifier (GRC)

  一个实体对，两个实体及其实体类型的embedding拼接作为多标签分类器的输入。这里作者将实体类型单独也看作是一个要学习的任务了，对实体类型embedding，以前用实体类型信息都是直接将实体类型插入span中或利用辅助loss间接使用实体类型信息。

• Multi-instance Relation Classifier (MRC)

  与GRC不同，基于mention-level做关系分类，两个entity clusters中所有的entity mentions，两两成对\((s_1,s_2) \in e_1 \times e_2\), 拼接两个实体表示以及mention pair中两个mentions的表示以及两个mentions之间的tokens得到的context、sentence-level的距离、token-level的距离拼接喂给FNN调整维度后，将这两个实体的所有mention pairs 表示最大池化处理得到最终的entity span pair或者说是relation表示，喂给多分类器这里类似GRC的处理也要结合实体类型embedding等。

Training

多任务方法联合训练，多个子任务损失相加一起训练。四个子任务均在训练时，每个batch加入错误样本。

3 实验

数据集DocRED(Yao et al., 2019)，

• 联合抽取效果，前三个子任务还行，但RC效果大幅下降，doc-level的联合抽取还是有难度的，且联合抽取和四个子任务单独做即pipeline效果差不多。
• 与DocRE对比，性能和sota差不多。

Todo

• 拓展阅读paper里标的几篇
• muti-instance learning

参考

[1] Markus Eberts.Adrian Ulges.An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning. EACL 2021.

[2] coreference resolution基本概念.https://blog.csdn.net/u013250861/article/details/115455799.