BERT论文解读 (转载)



版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/wbst5/article/details/104458422

Bert 自 Google 于 2018 年发表至今,一直给人们带来惊喜,期间也陆陆续续因为Bert出现的原因多了不少新的岗位,甚至公司 JD 上都明确表明必须懂 Bert。

它在 11 项自然语言处理任务中均表现出惊人的成绩:包括将 GLUE 基准推至 80.4%(绝对改进率7.6%),MultiNLI 精度达到 86.7%(绝对改进 5.6%)和 SQuAD v1.1 问题回答测试 F1 到 93.2。
在这里插入图片描述
谷歌团队的 Thang Luong 直接定义:BERT 模型开启了 NLP 的新时代!

Bert 能有这么好的效果,深入其原理本身,又究竟好在哪里?

语言模型预测句子中的下一个单词( GPT 中使用的从右到左的上下文),要么训练语言模型预测从左到右的上下文。这使得我们的模型容易由于信息丢失而产生错误。

Bert原始论文