InfoNCE Loss--Representation Learning with Contrastive Predictive Coding

• 来源：van den Oord et al., 2018 google
• 任务&方法：通过预测未来任务利用对比学习来得到一个更好的表示。我们知道对于预测未来任务，需要根据之前的信息预测之后的几步，因此如果能够有关于过去信息特征更好的表示我们就能做出更加准确的预测。本文通过InfoNCE损失函数的巧妙设计使得模型能够得到诸多好处比如更好的建模Mutual Infomation(用到RE中就是为了这点吧然后能够得到更好的表示)，进而更加准确地做出预测，也就会得到更好的表示。
• 参考:
  • Aaron van den Oord.Yazhe Li.Oriol Vinyals.Representation Learning with Contrastive Predictive Coding.CoRR 2018.
  • [论文简析]Representation Learning with Contrastive Predictive Coding[1807.03748]_哔哩哔哩_bilibili.

补充：下图分别为原文中以及CIL(Chen et al., ACL 2021)这篇paper里的InfoNCE损失。

对于原文中公式4，我们可以先不必去管\(f\)的两个输入表示什么或者任务是什么，我们只需要知道一点这个损失函数能够建模这两个输入\(x_{t+k},c_t\)之间的mutual info，可以用到不同领域的任务中，比如文本，nlp的CIL这篇做DSRE任务\(f\)就是指数函数，sim比如点积计算相似度，两个输入就是原始句子和正负样本，利用InfoNCE损失函数训练能够建模\(h_s,h_s^*\)之间的mutual info进而得到更好的句子表示。