在神经网络学习中,个人认为有两块十分重要的理论知识对理解神经网络的工作由重要的意义,一个是许志钦老师讲解的F-principle,阐述了为什么神经网络不会过拟合,另外一个就是通用近似定理,解释了为什么神经网络不需要知道问题的目标函数就可以拟合

B站视频讲解
www.bilibili.com/video/BV1Hh411Q7p4

1.定理介绍

根据通用近似定理，对于具有线性输出层和至少一个使用“挤压”性质的激活函数的隐藏层组成的前馈神经网络，只要其隐藏层神经元的数量足够，它可以以任意的精度来近似任何从一个定义在实数空间中的有界闭集函数。
所以"挤压"性质的函数是指像sigmoid函数的有界函数,ReLU也使用

2.原文证明

http://neuralnetworksanddeeplearning.com/chap4.html#:~:text=A visual proof that neural nets can compute,function has many inputs%2C %2C and many outputs.

3.简单说明

1.从图上可知一个简单的线性函数\(w^Tx+b\)经过logistic激活函数可以变成如下样子

2.当我们把参数取的极端一点,就可以变成一个近似垂直效果的阶跃函数

3.参数b决定了阶跃的位置,w若是正数,函数值从0到1递增,若是负数,则函数值从1到0递减

4.令\(s=\frac{-b}{w},若有两个w都为正数的神经元,就可以表示为两个阶跃函数的组合\)

5.若一个w为正,一个为负,变组成了一个脉冲函数

6.依次类推,只要有足够多的神经元,就可以无限逼近,拟合各种类型的函数曲线