笔记：A Multi-lingual Multi-task Architecture for Low-resource Sequence Labeling
A Multi-lingual Multi-task Architecture for Low-resource Sequence Labeling
作者：Ying Lin, Shengqi Yang, Veselin Stoyanov, Heng Ji
目录
- Abstract
- Model
- Experiments
- Conclusion
- 参考
1 Abstract
提出一种跨语言、跨任务联合训练的迁移模型，目的是为了使那些数据量较小的任务有更好的表现效果。
2 Model
2.1 Basic Architecture
如下图Figure 1，一个基于LSTM-CRF的序列标注模型，其中word representation由词预训练模型得到的word embedding和character-level CNN得到的word embedding相结合，以及hidden state后的线性层作用是将h转换为score，使用CRF的目的是为了能够更好的对标签之间的关联建模，进而产生输入序列的最优标注路径。
2.2 Multi-task Multi-lingual Architecture
如下图Figure 2，首先本文作者对于多任务多语言结构采用了两层(两种)的参数共享，第一层是Shared Bidrectional LSTM和Shared CharCNN共享：使得整个模型能够为跨任务语言提供广泛的词表示和特征(字符级)提取能力；第二层采用了不同的共享策略--word embedding、Linear Layer和CRFs 共享：对于同一语言的跨任务的迁移使用相同的word embedding，对于跨语言但同任务的迁移共享线性层和CRF层以将特定任务的知识迁移，即如Fiugre2所示，除了共享的线性层之外还加了个非共享的 language specific 的线性层，目的是使模型能够针对不同语言表现出一些不同的特性。
3 Experiments
多模型对比：将本文模型与单语言、单任务、跨语言、跨任务模型对比。分别使用Dutch、Spanish、Chechen作为主语言，English和Russin作为相关语言，Name Tagging作为主任务、Pos Tagging作为辅任务。进而实现多任务、多语言训练本文模型以及进行多模型的对比。
4 Conclusion
本文作者设计了一个针对low-resource的多语言、多任务的模型，并进行了对比实现。对于未来展望，可以尝试将其用在其他类型任务的结构中，如抽取事件抽取、标注语义角色标注等。
参考
[1] Ying Lin, Shengqi Yang, Veselin Stoyanov, Heng Ji.A Multi-lingual Multi-task Architecture for Low-resource Sequence Labeling.ACL 2018.
[2] Yang Z, Salakhutdinov R, Cohen W. Transfer Learning for Sequence Tagging with Hierarchical Recurrent Networks. ICLR, 2017.