A Novel Global Feature-Oriented Relational Triple Extraction Model based on Table Filling

作者：Ren et al., EMNLP 2021.

目录

• 简介
• 方法

1 简介

Table Filling方法做sentence-level实体关系联合抽取，不同于之前的table filling方法大多局限于local features即使用单一的一对token来提取特征填充表格。作者认为这么做并没有完全利用table filling这种方法的能力，因为其忽略了全局的关系、token pairs之间的关联信息。因此，本文主要改进点就是加入了关系和token pairs这两个全局特征信息以及采用了一种新的标注方案辅助，那么新标注方案也就随之需要适合自己的解码算法了。

2 方法

如图2为模型结构，主要分为四个模块：encoder(编码，得到初步的token特征)、TFG(抽取token pairs-based的tabel features即每个cell初步填充内容)、GFM(基于上一步的token pairs特征挖掘我们想要的两个全局特征 )、TG(解码输出最终结果即抽取的三元组)。其中，TFG和GFM这两步要不断循环迭代很多次一遍不断的精炼table特征。

Encoder Module

输入序列过BERT得到编码序列\(H \in \mathbb{R}^{n \times d_h}\), 之后喂给两个前馈神经网络FFNN(\(W_{1/2} \in R_{d_h \times d_h}\))分别生成初始的subject和object token特征即table的行列。

TFG Module

初步填表，以\(H_s,H_o\)作为输入经过线性非线性变换得到位置(i,j)的cell填充。其中\(t\)表示第t轮迭代，\(r\)表示当前关系(每个关系一个table表取抽取此序列当前关系的所有三元组，这样能够解决entity pair类型的关系重叠)。

GFM Module

利用上一步的table features挖掘我们像样的全局特征，主要分三步进行。

• step1: 聚合所有table特征。假设当前第t轮迭代，每个r对应一个table，我们将所有table对应位置特征拼接得到一个统一的table feature\(TF^{(t)}\), 以它作为输入分别做两次maxpool线性变换，分别得到subjcet和object的全局特征。其中\(W_{s/o} \in \mathbb{R}^{(|L| \times |R|) \times d_h}\), L表示L种标签(L = {"N/A", "MMH", "MMT", "MSH", "MST", "SMH", "SMT", "SS"})，R表示关系类型，d表示每个token维度，n为整个sequence的长度。

• step2: 分别用self-attention、attention抽取relation和token pairs的全局特征信息。attention获取token pairs特征信息Q、K、V分别为如公式4中MutilHeadAtt三个输入。

• step3: 加了个残差连接防止迭代类似深层神经网络梯度消失等问题。最后拿到结合了两个全局特征的增强的\(H_s,H_o\)再不断的重复TFG和GFM精炼table features，即不断优化table cell的填充。

TG Module

解码，先根据table features做softmax如公式6得到每个token pair的标签，最终table cell填充的就是每个token pairs的label，再经过解码得到三元组。

解码算法有点复杂，确实挺厉害的，但这种精心设计的解码有点繁琐啊，我这这么菜也不太好用在其他地方或是改动啊，看看得了知道大致干嘛就行了。

ToDO

• table filling这类方法解联合抽取问题还是值得好好看看的，把Two better那篇代码看看？

参考

[1] Feiliang Ren?,?, Longhui Zhang?, Shujuan Yin, Xiaofeng Zhao, Shilei Liu Bochao Li, Yaduo Liu.A Novel Global Feature-Oriented Relational Triple Extraction Model based on Table Filling.EMNLP 2021.