二分类神经网络公式推导过程
简介：本文主要介绍了简单二分神经网络的公式推导过程。
欢迎探讨，如有错误敬请指正
如需转载，请注明出处 http://www.cnblogs.com/nullzx/
1. 数据表示说明
定义一个名为n的列表
n[i]表示第i层的节点数 i从0开始
L = len(n)-1表示神经网络的层数，网络的层数从第0层开始
W[i]的维度为（n[i], n[i-1]） i从1开始
b[i]的维度为（n[i], 1） i从1开始
2. 正向传播
X表示训练样本矩阵，每个训练样本有d个特征，有m个训练样本，所以X的维度是（d, m） 即n[0] = d
表示第i层的激活函数
维度 （n[i], m）一个样本对应一列
维度 （n[i], m）一个样本对应一列
3. 交叉熵损失函数的推导过程
“*”表示对应元素相乘，表示第i个样本的真实值，表示第i个样本的预测值，也就是神经网络最后一层的输出。
对于二分类的神经网络来说，最后一层的激活函数一般都是sigmoid函数
sigmoid函数由下列公式定义
从图中可知，最后一层的输出为0~1之间,可以看做概率。我们可以把二分神经网络看成一个概率模型，输入为一些特征，输出为概率，而且满足二项分布
表示真实值为1时，神经网络预测准确的概率
表示真实值为0时，神经网络预测准确的概率，我们可以将上面的分段函数写成一个表达式
所以上式表示了神经网络预测准确的概率。
当前有m个样本，那么like表示了这m个样本同时预测准确的概率
我们的目的就是让like取最大值，由于对数函数ln(x)是一个单调函数，所以当like函数取最大值时，ln(like)一定取得最大值
ln(like)取得最大值等价于下面的值取得最小。
而这个就是损失函数，初始化时w和b随机，我们通过随机梯度下降法，得到w和b使得损失函数最小。
另一方面，我们还可以通过信息论的角度推导交叉熵
4. 反向传播（随机梯度下降法）
L表示最后一层,从最后一层开始，由损失函数逐步向后求导
一般情况下
sigmoid的导数可以用自身表示:
所以
一定是维度 （1, m）一个样本对应一列（也就是一个数值），
假设已经知道了 ，它的维度是（n[i], m），则可以推出三点：
1） ，它的维度是(n[i], m) 乘以(n[i-1], m)T
2），它的维度是(n[i], 1)
3）
它的维度是(n[i+1], n[i]).T乘以（n[i+1], m）
同理还可以继续推出
*表示对应元素相乘，而就是激活函数的求导,这样就可以继续向下求导了
5. 参数更新
k表示学习速度
维度 （n[i], m） 一个样本对应一列
维度 （n[i], 1） 一个样本对应一行
维度 （n[i], n[i-1]）
维度 （n[i], m）
6. 通过具体的例子解释反向传播的公式
对于上图神经网络的而言的一个训练样本而言,在求导的过程中我们应该把看成一个有关的超多元函数
的维度（1,1）
的维度（1,1）
就是一个数
我们从最后一层开始反向传播
维度（1,1）
注意最后推导出来的结果是两个矩阵的乘法
维度（1,3）
维度（1,1）
继续向前一层进行反向传播
所以维度（3,1），还因为 ，所以
维度（3,1）
因为
展开可得
现在将成本函数看成由这12个自变量的函数(为啥是12个，因为每一个都是一个1行4列的向量)
成本函数对着12个参数求导就形成了一个矩阵
这矩阵正好可以表示成
维度（3,1）乘 维度(4,1)T 形成一个(3,4)的矩阵
现在将成本函数看成由这4个自变量的函数(为啥是4个，因为是一个4行1列的向量)
成本函数对着4个参数求导就形成了一个四行一列的向量
这个矩阵恰好可以表示成
通用形式：
同理有了就可以推出 进而可以推出和
对于m个样本而言，我们求得的某个参数的导数是m样本分别对这个参数求导的平均值。至此反向传播过程推导推导完毕。
7. 参考内容
[1].