word2vec:让文字可以进行逻辑运算,女人+王冠=女王
word2vec算法(词嵌入算法):使用一个低纬度的向量来表示一个词,距离相近的向量在实际的词含义上也是相近的。
比如“炸鸡”的向量与“啤酒”的向量距离比“炸鸡”的向量与“收音机”的向量要近
词嵌入获得的向量还具备数学运算关系
比如“女人”词向量+“王冠”词向量 约等于“女王”词向量
独热编码:是一位有效编码,其中每一位都用来存储一个状态。比如
| 男 | 01 |
| 女 | 10 |
词嵌入优点
能够让离散的文本数据变成定长的数据
词嵌入缺点
过于稀疏
比如特朗普[1,0,0,0,0,0............0,0,0]
拜登[0,1,0,0,0,0...........0,0,0]
如何解决独热编码问题
一种分布式表示的方法:通过对文本词的训练,把每个词都映射到一个比较短、但是稠密的向量上,所有的词向量构成了向量空间,使用统计学方法研究词之间的关系。
比如设置几个人物的维度
| 特朗普 | 希拉里 | |
| 性别 | 0.99 | 0.01 |
| 年龄 | 0.7 | 0.7 |
词嵌入概念
把原本的词向量映射到这个相对低维度空间的过程称为词嵌入
注意:word2vec(用到了一点神经网络)所得模型并不是最终结果,在训练完成之后,把隐藏层的权重矩阵获取出来,即为算法结果
算法优点
比传统的基于词语统计方法要准确很多,降低了向量维度,通用性很强
算法缺点
无法解决一词多义的问题