Relation Extraction with Explanation

作者：Shahbazi et al., ACL 2020

目录

• 简介
• 方法

1 简介

本文做基于远程监督关系抽取任务，近几年DS-based RE以bag为单位(一个bag中包含多个含有相同enitty mentions的sequences)利用句子内或句间的attention减弱噪声样本的影响同时也进一步提升了抽取性能，但他们大多都是关注抽取的准确率却很少关注他们的可解释性，本文在之前工作上主要通过两个小的改动来提升整体可解释性，同时由于这两个操作使得整体抽取准确率也提升达到sota。

2 方法

2.1 Problem Setup

先回顾一下DS-based RE任务--问题定义，给定一组实体对，我们取N个包含此实体对的句子构成一个bag，利用KB得到的实体对标签集给此bag打标签，对于一个RE模型，首先就要对所有句子编码得到一个向量作为句子表示bag变化为\(B_{i,j}=\{s_1,...,s_{N_{i,j}}\} encoding \rightarrow B_{i,j}=\{x_1,...,x_{i,j}\},x_i \in \mathbb{R}^d\), 这样我们得到一系列bags和对应的labels，我们的训练目标就是希望能够学习一个模型使其能够预测\(P(r=k|B_{i,j})\)的概率(relation k exists between \(e_i\) and \(e_j\) based on \(B_{i,j}\) )，其中\(k \in 1...K, K\)为KB中的关系总数。

2.2 Baseline

DirectSup和CNNs+ATT，两者均使用CNN编码，不同点在于bag中每个句子attention权重分配的计算方式，详见原文不再赘述。

2.3 proposed methods

在baseline模型基础上改进。

• 将entity mentions用其对应的细粒度实体类型(FGET)替换，有效果
• 在加FGET基础上加上entity embedding，具体方式为attention bag中所有句子得到bag 表示后将entity 表示与其拼接，具体实体表示有很多种方法，文中的就是对entity span的token embeding取了个平均与另一篇paper Trans得到的embedding拼接作为span 表示了，这种FGET+entity embedding效果更好一些
• learning from distractors即假设当前bag标签为k，采样关系非k的句子类似负样本嘛加到bag中，起到扩充bag的作用，再去训练通过定义的distractor loss尽可能地降低负样本对于最终标签的作用，因为DS打的标签肯定有噪声样本，所以也就是说希望模型在预测bag标签时类似能够自动尽可能忽略那些非关系k即对bag 标签没有贡献的句子进而提升性能。DirectSup+F(FGET with/without E: entity embedding)+LD(learning from distractors)的结果最好。
• 可解释性虽然可能是文中主要关注点之一，由于采用上述改进也有了提升，但这里不太懂，也不是我的关注点以后再说把，主要还是关注实体表示这里的替换--有细粒度实体类型，细粒度NER记得应该有这类NERpaper能否有其他的entity mentions表示？还有加入了实体span的表示效果也更好了是否可以用其他的实体表示？这点在不同RE任务上是否都可以考虑考虑怎么加上或者换一下采用更好的entity mention span span pair表示？

参考

[1] Hamed Shahbazi, Xiaoli Z. Fern, Reza Ghaeini, Prasad Tadepalli.Relation Extraction with Explanation.ACL 2020.