笔记记录:Relation Extraction: Perspective from Convolutional Neural Networks
Relation Extraction: Perspective from Convolutional Neural Networks
作者:Nguyen T et al.
目录
- Introduction
- Model
- Conclusion
- 参考
1 Introduction
模型整体结构与Zeng D et al.\(^{[2]}\),基本一致,唯一比较明显的区别是:(1) 没有使用人工lexical feature. (2) 卷积层使用多个不同大小的卷积核--一维CNN处理序列。
2 Model
如下图Figure 1所示,整个流程基本与Zeng D et al.\(^{[2]}\)一致,首先embedding化,且加入了position embedding(随机初始化,作为参数参与训练),之后采用多个不同size的filter做卷积运算如下图由于卷积核size不同得到的向量维度也不同,之后进行max pooling操作,最后再喂给全连接分类器。本文说是主要关注关系抽取(这里可能指没出现过的relatin类型的抽取而非把当前包含标注实体对的语句划分到已有的关系类别中),最后不仍然是监督--关系分类。
3 Conclusion
“该论文的模型输入完全没有人工特征,且使用多宽度大小的卷积核进行特征抽取,相对于 Zeng 的效果来说仅提升了 0.1%0.1%,个人认为提升的主要关键点在于多粒度大小的卷积核上,而 lexical feature 在这种简单的深度学习模型上还是能够起到一定的效果的,这在之后的工作中也得到了证实\(^{[3]}\)。”
参考
[1] Thien Huu Nguyen.Ralph Grishman.Relation Extraction: Perspective from Convolutional Neural Networks.NAACL-HLT 2015.
[2] Daojian Zeng, Kang Liu, Siwei Lai, Guangyou Zhou and Jun Zhao.Relation Classification via Convolutional Deep Neural Network.COLING 2014.
[3] 西多士NLP.信息抽取-关系抽取.博客园 2019..