感知机

感知机

1、给定输入x，权重w，和偏移b，感知机输出：

O = ?(+b)   ?(x) ={ 1，  if x>0

                                             { 0， otherwise

求解算法相当于使用一个批量为1的梯度下降。

注：感知机相当于一个二分类问题，最早的AI模型之一，-1或1。和线性回归不同的是，线性回归输出的是一个实数。和softmax回归不同在于，softmax输出概率。

• • 收敛定理：数据在半径r内，余量p分类两类，||w||² + b² <= 1,也就是存在一个margin（余量）。感知机保证在(r²+1)/p²步后收敛。（r指的数据的大小，p指的数据的质量，能不能很好的分开）

  • 感知机存在的问题（XOR问题）：感知机不能拟合XOR函数，它只能产生线性分割面。

  • 多层感知机

  • 单隐藏层为什么需要非线性激活函数？

                 因为 线性激活函数 对输出结果输出后依然是线性的，并无法起到正确分类的效果。

Sigmod激活函数：将输入投影到（0,1）

Tanh激活函数：将输入投影到（-1.1）

ReLU激活函数（rectified linear unit）：ReLU(x) = max(x,0)，常用。

• • 多类分类

             输出是k类，因此在输出层要经过一个softmax分类

• • 多隐藏层

             超参数：隐藏层数、每层隐藏层的大小

             每层隐藏层的大小选取有两个策略，假设输入是18个

1. 1. 单隐藏层可以设置为256，设置的大点
   2. 多隐藏层，可以第一层256，第二层128，先胖在慢慢的瘦下来，瘦到想要的输出维度（相对的先压缩在扩张做法在第一步压缩时会损失很多信息）。

总结：多层感知机使用隐藏层和激活函数来得到非线性模型。