Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme

作者：Suncong Zheng et al., ACL 2017.

目录

• 简介
• 方法
• 实验
• 总结

1 简介

本文任务为实体关系联合抽取，作者认为，实体关系联合抽取的关键就是要得到实体对以及它们之间关系组成的三元组。因此作者的做法是直接对三元组进行建模，而不是分别提取实体和关系。因此，提出了一种新的标注方案，将抽取任务转为序列标注任务，它包含实体信息和它们所持有的关系，对于序列标注问题，很容易使用神经网络来建模，而不需要复杂的特征工程。基于此标注方案使用LSTM进行编码和解码，同时利用远程构造数据集。

2 方法

三个部分，首先，新的标注方案是什么--即如何将抽取任务转为序列标注任务。其次，sequence-to-sequence模型的输出即标注sequence，如何从标注序列得到抽取结果即三元组。最后，模型。

2.1 The Tagging Scheme

细节感兴趣见原文，如下图Figure 2。

标注分三个部分：首先类似NER采用BIES标注实体，接着与实体关联的关系类别缩写，最后实体位置在前为1，在后为2即\(\)或\(\)同时标签\(O\)表示这个词与我们的要抽取的结果没有任何关系--other。这样利用DS构造数据集，就将抽取转为序列标注任务了，我们最后要的只是标注序列。

2.2 From Tag Sequence To Extracted Results

如图Figure 2，得到模型输出的标注序列后，我们采用最近原则，即将两个同一关系的实体放在一起，包括其关系在内构成一个三元组，即为我们将标注序列转为抽取结果的方案。
但这也带来一个问题，就是没法处理关系重叠的问题，例如Trump这个实体可能会有多种关系进而和后面其他的实体组成另一个三元组。

2.3 The End-to-end Model

如图Figure 3。

和序列标注任务模型类似，先将token转为embedding，之后使用BLSTM编码，这里用了LSTM解码且此LSTM不仅用了\(h_{t-1},h_t\)还用了上一次的标签预测\(T_t-1\)，如Figure 3 (c)部分，再将输出即\(T_{1,...,N}, N\)为句子的单词数，\(T_i\)为一个vector假设维度为H，之后经过线性层(\(W*T_i+b, W=(num\_class*H)\)以及softmax, 最终得到每个词的预测score vector，利用score vector与其对应的y--label，计算损失--即目标函数\(L\)。

其中，“通过调整 \(\alpha\)，就可以调整标注的 token 在 loss 中的比重\(^{[2]}\)”，\(\alpha\)实验中取值10表现最好。这个 Bias Objective Function “\(L\)就是使得模型对于实体标签与其他标签的关注程度不一样\(^{[3]}\)”。

4 实验

感兴趣详见原文。

本文的训练集是远程监督自动标的，测试集为了更准，是手动标的\(^{[2]}\)。

1. end-to-end 好于 joint 好于 pipeline
2. 只有神经网络的方法能比较好的平衡 precision 和 recall
3. LSTM-LSTM 好于 LSTM-CRF，因为 LSTM 能学到距离更远的依赖
4. \(\alpha\)太大 acc 下降，太小 recall 下降，取 10 最好

5 总结

将抽取转为标注，用LSTM解码，最后的Loss，都挺有启发的。短板：关系重叠的问题。

参考

[1] Suncong Zheng, Feng Wang, Hongyun Bao, Yuexing Hao,Peng Zhou, Bo Xu.Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme.ACL 2017.

[2] 论文笔记 – Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme.https://ivenwang.com/2020/08/09/jnree-scheme/.

[3] 西多士NLP.信息抽取——实体关系联合抽取..