吴恩达-梯度检验

为了验证BP 梯度是否有问题可以用

进行检验,对于每一个权重theta,计算 [J(theta+epsilon)-J(theta-epsilon)]/(2*epsilon),每一个结果都保存在一个矩阵里,然后同样的,将每一个theta实际的梯度按同样规则保存在矩阵里,最后求解两者的欧式距离然后和阈值比较