meta_learning学习

花了2天学习 meta learning代码，记录一下。

MAML学习一个好的初始化权重，从而在新任务上实现fast adaptation，即在小规模的训练样本上迅速收敛并完成fine-tune。

因此基于MAML的模型首先基于多个任务样本学习好的初始化权重。 第二阶段， 针对特定场景做 fine-tune，部分参数如embedding可以固定。核心思想是，每次参数更新使得它在后续新任务中做fine-tune是有效果的。

资料

• paper https://arxiv.org/pdf/1703.03400.pdf
• 参考 https://zhuanlan.zhihu.com/p/57864886 以及样本概念介绍 https://zhuanlan.zhihu.com/p/146558856
• 以上面提到的代码 https://github.com/cbfinn/maml/blob/master/maml.py