一、神经网络--反向传播详细推导过程中的公式推导
其中,aL">aL和y">y为特征维度为n_out">n_out的向量,而||S||2">||S||2为S的L2范数。
损失函数有了,现在我们开始用梯度下降法迭代求解每一层的W,b">W,b
首先是输出层第L">L层。注意到输出层的W,b">W,b满足下式:
L">W,b">
L">W,b">L">W,b">1::x→y→z">x→y→z其中x、y为向量,z为标量;
x→y→z">
x→y→z">2:这里我就写一个用到的:其中X和A是矩阵 z为标量 y为向量
x→y→z">x→y→z">
x→y→z">x→y→z"> 首先说一下其中的符号关系J(W,b,x,y)是标量,W为矩阵,a和z为向量。L代表层数
x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">
x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">
x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">下图解释diag:
x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">
x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">x→y→z">
x→y→z">
x→y→z">