xDeepFM论文阅读

先回顾一下DCN提出的一种显式特征交叉结构

 xDeepFM 作者指出这个结构存在以下两个缺点：

 1. CrossNet 是一种张量积的结构

 2. CrossNet 是一种bit-wise的特征交叉

Compressed Interaction Network

xDeepFM 提出了Compressed Interaction Network（CIN）网络结构，这个网络结构具有以下几个特点：

1. 这是一种 vector-wise 层次的特征交互

2. 复杂度不会随着特征交叉度呈指数增长

CIN 以以下方式进行特征交叉

 DCN 的Cross层接在Embedding层之后，虽然可以显示自动构造高阶特征，但它是以bit-wise的方式。例如，Age Field对应嵌入向量，Occupation Field对应嵌入向量，在Cross层，a1,b1,c1,a2,b2,c2会拼接后直接作为输入，即它意识不到Field vector的概念。Cross 以嵌入向量中的单个bit为最细粒度，而FM是以向量为最细粒度学习相关性，即vector-wise。xDeepFM的动机，正是将FM的vector-wise的思想引入Cross部分。

参考资料

https://zhuanlan.zhihu.com/p/57162373