线性分类-感知机模型

线性分类-感知机模型

思想

错误驱动

假设数据 $ {(x_i,y_i)}_{i = 1}^{N}、x_i \in R^p、y \in {-1, 1}$

对于感知机模型：

\[f(x) = sign(w^Tx) \quad x\in R^p, w \in R^p \\ sing(a) = \begin{cases} +1 \quad a ≥ 0 \\ -1 \quad a < 0 \end{cases} \]

根据错误思想我们可以写出损失函数：

\[L(w) = \sum_{i = 1}^{N}I(y_iw^Tx_i < 0) \quad \quad (1) \\ L(w) = \sum_{x_i \in D} - y_iw^Tx_i \quad \quad \quad (2)\\ D 表示为错误分类点的集合 \]

首先对于 \((1)\) 式设计，首先基于错误驱动的思想，我们统计错误分类的点数，然后更新 \(w\) ，减少错误 分类的点数：

\[I() 为指示函数，当里面式子为 True 取 1，False 取 0\\ \]

而我们知道正确分类由下式：

\[w^Tx_i > 0 \quad \quad y_i = +1 \quad \quad (3)\\ w^Tx_i < 0 \quad \quad y_i = -1 \quad \quad (4)\\ 将 (3)(4) 式进行合并 \\ 也就是 y_iw^Tx_i > 0 \\ 那么对于错误分类的点自然就是 \\ y_iw^Tx_i > 0 \]

但是由于式 \((1)\) 不可导，所以我们直接利用 \(y_i w^Tx_i < 0\)

\[w \rightarrow w + \Delta \\ 对于上式 \\ y_i w^T x_i = \alpha \\ y_i (w^T +\Delta) x_i = \alpha + \Delta \\ 也是产生微小的变化 \]

所以 loss function 为：

\[L(w) = \sum_{x_i \in D} - y_iw^Tx_i \]

那么我们对于求 \(w\) ，可以用随机梯度下降法：

\[\frac{\partial L(w)}{\partial w} = -y_ix_i \\ w^{(t + 1)} = w^{(t)} + \lambda y_ix_i \]