A Frustratingly Easy Approach for Entity and Relation Extraction

作者：Zexuan Zhong Danqi Chen.NAACL 2021.

目录

• 简介
• 方法
• 想法

1 简介

本文仍然是做实体关系联合抽取任务，不同于近几年大量的通过对两个子任务联合建模或联合解码、共享参数等联合处理方法，本文采用联合抽取中的管道方法即分别单独训练两个子任务，效果在三个公开数据集ACE04, ACE05 and SciERC比其他的联合模型还要好一些，新sota。

近几年的工作大多证明联合模型在实体关系联合抽取任务确实有很不错的效果，貌似要比传统pipeline方法强，理由比如两子任务之间的交互即实体关系之间、多实体之间、关系关系之间等。那么本文为什么用了pipeline后却强于一众联合模型方法呢，与之前的pipeline方法相比有哪些不同？

主要创新点我觉得在于 a) relation model的输入中加入了markers标识符--标识subject、object实体span以及含有重要的实体类型信息，entity span和entity type是本文中作者十分重视的一个点。b) 加入了cross-sentence context信息效果又提升了一些。

2 方法

下图为方法的示意图。

具体细节详见参考【2】【3】写的挺好的，我就不赘述了，本身有的细节没看懂。

参考【4】里的slides/slides.pdf 幻灯片文件图更多一些可能会帮助理解吧。

3 想法

• span pairs或relation的表示是subject和object的marker标识符的head token的拼接，有点类似(Soares et al., 2019\(^{[5]}\))里的选取方式和markers标识符的设置方式，但这里的markers除了标识span还加入了实体类型信息。
• 本文采用了一种很简单的加入cross-sentence context的方式--一个document构成的序列其中一个个语句构成的序列作为输入，采用文本输入的左右两侧上下文中分别滑动 (W?n)/2 个words，n 为文本长度，W 为固定窗口大小。有没有其他结合跨语句上下文信息的方法，document-level RE？
• 实体span和实体类型信息对于关系抽取很重要，而且像本文这样插入markers直接使用entity span和type信息相比加个辅助Loss间接使用两者信息要好，且两者由于可能需要的特征信息不同，简单的share联合联合训练反而会造成性能下降。

ToDo

• document-level RE

• 没完全看懂有些细节不太懂，看看代码。

  [todo1]: 粗略的看了一两篇，感觉好复杂看不懂，顿时没了想要看doc-level RE的想法了，而且好多又都涉及GCN，欸头疼。
  [todo2]: 代码基本搞定了，除了batch处理部分代码真没看懂看到后面不想看了，以后用到再回来看看这块的代码吧，paper里之前没明白的细节基本搞懂了。

参考

【1】Zexuan Zhong Danqi Chen.A Frustratingly Easy Approach for Entity and Relation Extraction.NAACL 2021.

【2】论文笔记 – A Frustratingly Easy Approach for Joint Entity and Relation Extraction.https://ivenwang.com/2020/12/02/pipelinejoineere/.

【3】反直觉！陈丹琦用pipeline方式刷新关系抽取SOTA.https://zhuanlan.zhihu.com/p/274938894.

【4】princeton-nlp/PURE(offical).https://github.com/princeton-nlp/PURE.

【5】Livio Baldini Soares.Nicholas FitzGerald.Jeffrey Ling?.Tom Kwiatkowski.Matching the Blanks: Distributional Similarity for Relation Learning.ACL 2019.