• 核心参考
• 写在前面
• 历史的进程
  • CV的开端

核心参考

浅显易懂的综述！https://zhuanlan.zhihu.com/p/50443871

写在前面

最近Kaiming的新文章让我心潮澎湃hhh，因此也就生出了系统了解一下NLP的想法（毕竟涉及到BERT了嘛哈哈哈哈）。碰巧遇到了这篇很nice多综述，那就以他为主干去系统的了解一下吧
通常来说，NLP中监督任务的基本套路都可以用三个积木来进行归纳：

• 文本数据搜集和预处理
• 将文本进行编码和表征
• 设计模型解决具体任务
  

历史的进程

CV的开端

ImageNet是2009年由李飞飞团队邓嘉等人提出，并迅速发展成为CV领域最知名的比赛ILSVRC，从2010年举办第一届，到2017年李飞飞宣布最后一届，前后总共举办8年，这八年间先后在这个比赛中涌现了一大批推动AI领域尤其是CV领域大发展的算法和模型。特别值得一提的是2012年Hinton团队提出了AlexNet，超过当时第二名效果41%，一下子引爆了AI领域，因此2012年也被称为“深度学习元年”


这时预训练

未完待续。。。。