14数值稳定性模型初始化激活函数

# 梯度爆炸
"""
值超出值域（infinity）
    16位浮点数（6e-5 - 6e-4）
对学习率敏感
    lr太大，大参数值，更大的梯度
    lr太小，训练无进展
    训练过程不断调整学习率
"""

# 梯度消失
"""
梯度变成0
    16位浮点数
训练没有进展
    不管如何选择学习率
对底部层尤为严重
    仅仅顶层训练的较好
    无法让神经网络更深
"""

# 训练更加稳定
"""
目标：让梯度在合理的范围内
    [1e-6,1e3]
将乘法变加法
归一化
合理的权重初始和激活函数
"""

# 权重初始化
"""
在合理值区间里随机初始参数
训练开始的时候更容易有数值不稳定
    远离最优解的地方损失函数表面可能很复杂
    最优解附近表面会比较平
使用N(0,0.01)来初始可能对小网络没问题，但不能保证深度神经网络
"""