重要公式的推导过程


一、神经网络--反向传播详细推导过程中的公式推导

其中,aL">aLy">y为特征维度为n_out">n_out的向量,而||S||2">||S||2为S的L2范数。

    损失函数有了,现在我们开始用梯度下降法迭代求解每一层的W,b">W,b

    首先是输出层第L">L层。注意到输出层的W,b">W,b满足下式:

L">W,b">  

  • L">W,b">求导用到的公式有:

L">W,b">L">W,b">1:xyz">xyz其中x、y为向量,z为标量;

xyz">

xyz">2:这里我就写一个用到的:其中X和A是矩阵 z为标量 y为向量

xyz">xyz">

  • 开始求导

xyz">xyz">  首先说一下其中的符号关系J(W,b,x,y)是标量,W为矩阵,a和z为向量。L代表层数

xyz">xyz">xyz">xyz">xyz">xyz">  

xyz">xyz">xyz">xyz">xyz">xyz">

xyz">xyz">xyz">xyz">xyz">xyz">下图解释diag:

xyz">xyz">xyz">xyz">xyz">xyz">xyz">xyz">xyz">xyz">xyz">xyz">

xyz">xyz">xyz">xyz">xyz">xyz"> 

xyz"> 

xyz">