TF21——循环核

• 卷积核：参数空间共享,卷积层提取空间信息。

• 卷积神经网络的主要模块

• 卷积是什么？
  • 卷积就是特征提取器，就是CBAPD
• 卷积神经网络：借助卷积核提取空间特征后，送入全连接网络

有些数据实与时间序列相关的，是可以根据上文预测出下文的！

例如：鱼离不开(?)

你会下意识地想出”水“，这是因为你的脑具有记忆，你的记忆体，记住了上文提到的”鱼离不开“这几个字，你下意识地预测了可能性最大的”水“字，这种预测就是通过脑记忆体提取历史数据的特征，预测出接下来最可能发生的情况。

刚才预测”鱼离不开水“这个例子中，提到的脑记忆体，就是下面的循环核，循环核具有记忆能力，通过对不同时刻的参数共享，实现对时间序列的信息提取

• 循环核：参数时间共享，循环层提取时间信息

你可以设定记忆体的个数，改变记忆容量，当记忆个数被指定，输入xt,输出yt维度被指定，周围这些待训练参数的维度也就被限定了，记忆体内存储着每个时刻的状态信息ht

\[\begin{aligned} &\mathrm{y}_{t}=\operatorname{softmax}\left(h_{t} w_{h y}+b y\right) \\ &\mathrm{h}_{t}=\tanh \left(x_{t} w_{x h}+h_{t-1} w_{h h}+\mathrm{bh}\right) \end{aligned} \]

前向传播时:记忆体内存储的状态信息ht，在每个时刻都被刷新，三个参数矩阵wxh whh why自始至终都是固定不变的。

反向传播时:三个参数矩阵wxh whh why被梯度下降法更新。