人工神经网络
神经元
神经元是构成神经网络的基本模块。神经元模型是一个具有加权输入，并且使用激活功能产生输出信号的基础计算单元。
g(z)表示激活函数。
与线性回归一样，每个神经元也有一个偏差，偏差是改善学习速度和预防过拟合的有效方法。
激活函数
激活函数是加权输入与神经元输出的简单映射。它控制神经元激活的阈值和输出信号的强度。最简单的激活函数是临界值判定，如输入总和高于阈值（如0.5），则神经元将输出值1.0，否则将输出值0.0.
常用激活函数有sigmoid函数、tanh函数等。此外，线性整流函数ReLU相比这两个函数，只需要一个阈值就可以得到激活值，能够提供更好的结果。
ReLU函数不是传统的非线性函数，而是分段线性函数。其表达式：y=max(x,0)。在x大于0时，输出就是输入；而在x小于0时，输出就保持为0.
神经网络
- 设计神经网络时，输入层与输出层的节点数往往是固定的，中间层可以自由指定。
- 神经网络机构图中的拓扑与箭头代表预测过程中数据的流向，和训练时的数据流有一定的区别。
- 结构图中的关键不是圆圈（神经元），而是连接线（神经元之间的连接）。每个连接线对应一个不同的权重，这是需要训练得到的。
隐藏层中，两层神经网络可以无限逼近任意连续函数，也就是说，面对复杂的非线性分类任务，两层神经网络可以分类的很好，关键就是从输入层到隐藏层时，数据发生了空间变换。所以，多层的神经网络的本质就是复杂函数拟合。
输出层对于二分类问题，可以使用sigmoid函数，输出0和1之间的值，以表示预测主类别值的概率。对于多分类问题，可以使用softmax激活函数来输出神经网络对每个类值的概率预测。