学习随记

一些算法概念：

• 偏导数构成的向量为梯度；（梯度是一个向量，既有大小又有方向。）
• 方向导数为梯度在该方向上的合成，系数为该方向的单位向量；
• 梯度方向为方向导数最大的方向，梯度的模为最大的方向导数值；
• 梯度垂直于等高线，同时指向高度更高的等高线；
• 隐函数可以看成是一种等高线，其梯度为高维曲面（曲线）的法向量

BP算法是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。