Recurrent Interaction Network for Jointly Extracting Entities and Classifying Relations

• 来源：EMNLP 2020.

• 作者：Sun et al.

• 任务：Joint RE

• 动机：

  1. 传统多任务学习处理联合RE时两个子任务之间的交互大多是隐式的即如图1(a)所示，通过共享网络结构如共享PLM编码句子的输出--都使用同一个隐状态序列作为特定任务的输入，但这样是基于共享的网络结构有能力捕获任务之间的关联性的假设。因此本文作者希望能够使任务之间能够显示的动态交互进而明确的捕获两者之间的相互关联信息，如图1(b)。

• 方法：

  1. 整个RIN(Recurrent Interaction Network)为一个多层网络，每层包括三部分1)GRU用于编码句子以及任务之间相关信息；2)ER(Entity Reconition)模型；3)RC(Relation Classification)模型，如图2。

2. RIN.多层神经网络，每层由两个独立的GRU构成，分别编码两个任务的特征，以之前的两个子任务各自的预测\(Y^{k-1}\)以及上一层共享的相同的特征(显式交互)作为输入，输出共享的句子中词的表示序列\(H^{k},k=k_{th}\space layer\)，之后分别过ER和RC得到对应的预测\(Y^{k}\)。

3. GRU.两个GRU结构一致，只是针对不同任务输入不同，但输入都是上一层的\(Y^{k-1},H^{k-1}\)，如下公式。对于NER来说\(y,h\)就是\(Y^{k-1}_{e},H^{k-1}_e\)序列中对应的元素\(h_i^e,y_i^e\)，对于关系分类来说，同理\(h=h_j^r\)，但输入\(y_j^r\)为上一次预测中包含词\(w_j\)的所有实体对的关系类别标签的聚合，最后两个GRU输出对应的表示\(h_e,h_r\)。

4. ER.看作是序列标注任务--NER，采用BIOES标注方案根据每个词的表示预测对应的标签。

5. RC.看作多分类问题，两实体表示的拼接作为实体对表示，采用sigmoid做关系分类，作者认为sigmoid相比softmax对于关系重叠处理的更好。

6. 训练目标就是两个任务的交叉熵损失相加。

• 实验：

  1. 数据集NYT、WebNLG。

  2. 消融实验如下图所示，每个网络结构都有用，明显去掉交互性能下降最多。

• 参考

  [1] Kai Sun.Richong Zhang?.Samuel Mensah.Recurrent Interaction Network for Jointly Extracting Entities and Classifying Relations.EMNLP 2020.