TF27——循环计算过程Ⅱ

现在把时间核按时间步展开，连续输入多个字母预测下一个字母的例子

• 循环计算过程

连续输入四个字母，预测下一个字母

初始时刻，记忆体内的记忆是0，笔者现在用一套训练好的参数矩阵，带读者感受循环计算的前向传播过程，在这个过程中的每个时刻参数矩阵是固定的，记忆体会在每个时刻被更新

第一时刻b的独热码[0 1 0 0 0]输入，记忆体根据更新公式刷新为[-0.9 0.2 0.2]

第二时刻c的独热码[0 0 1 0 0]输入，记忆体根据更新公式刷新为[0.8 1.0 0.8]

第三时刻d的独热码[0 0 0 1 0]输入，记忆体根据更新公式刷新为[0.6 0.5 -1.0]

第四时刻e的独热码[0 0 0 0 1]输入，记忆体根据更新公式刷新为[-1.0 -1.0 0.8]

注意：这四个时间步中，所用到的参数矩阵wxh和偏置项bh数值是相同的

输出预测，根据全连接完成，带入yt计算公式得到[0.71 0.14 0.10 0.05 0.00]说明有71%的可能是字母A

模型不仅成功预测出了下一个是a,从神经网络输出的概率上可以发现，因为输入序列的最后一个字母是e,模型认为下一个子母还是e的可能性最小，可能性最大的是a,其次分别是b,c,d