|NO.Z.00013|——————————|BigDataEnd|——|Arithmetic&Machine.v13|——|Machine：逻辑回归算法.v01|

一、逻辑回归算法

### --- 逻辑回归算法

~~~     # 概述
~~~     分类技术是机器学习和数据挖掘应用中的重要组成部分。在数据科学中， 约70%的问题属于分类问题。
~~~     解决分类的算法也有很多种。 
~~~     如：KNN，使距离计算来实现分类；决策树，通过构建直观易懂的树来实现分类。
~~~     这里我们要展开的是Logistic回归，它是一种很常见的用来解决二元分类问题的回归方法，
~~~     它主要是通过寻找最优参数来正确地分类原始数据。

### --- 基本原理

~~~     逻辑回归（Logistic Regression，简称LR），其实是一个很有误导性的概念，
~~~     虽然它的名字中带有"回归"两个字，但是它最擅长处理的却是分类问题。
~~~     LR分类器适用于各项广义上的分类任务，
~~~     例如：评论信息的正负情感分析（二分类）、用户点击率（二分类）、
~~~     用户违约信息预测（二分类）、垃圾邮件预测（二分类）、疾病预测（二分类）、用户等级分类（多分类）等场景。
~~~     我们这里主要讨论的是二分类问题。

~~~     之前我们介绍了线性回归的算法基本原理、使用方法、
~~~     在最小二乘法求最优解以及条件不满足的情况系原始算法的修正方法。
~~~     但实际上，线性回归只是机器学习类算法中最简单的用特征预测标签数值的回归算法，
~~~     满足线性规律的真实场景并不是很多，因此标准线性回归应用面有限。
~~~     为了解决该问题，线性回归在实际应用中引入了诸多变化形式，而这些变化形式可统一规整为如下形式∶

~~~     其中g(*)为可微函数。而这类模型也被称为广义线性模型（generalized linear model），
~~~     其中函数被称为联系函数（（link function），
~~~     现如今被广为人知的逻辑回归就是诸多广义回归算法的其中一种。
~~~     在逻辑回归中，我们使用对数几率函数（Logistic function）作为g-1(*)，
~~~     对数几率函数表示形式如下：

~~~     能够看出，对数几率函数是一个Sigmoid函数。
~~~     Sigmoid函数是形似S的函数，对率函数是Sigmoid函数的重要代表，在感知机理论中也发挥着重大作用。

~~~     由此看出，上式实际上是在用线性回归模型的预测结果取逼近真实标记的对数几率。
~~~     因此，其对应的模型被称为"对数几率回归"（logistic regression）。
~~~     需要注意的是，虽然其名字包含回归二字，但本质上是一种分类学习方法。
~~~     这种方法有很多优点，例如它是直接对分类可能性进行建模，因此它不仅预测出"类别"，
~~~     而且得到的是近似概率预测，这对许多需要利用概率辅助决策的任务很有用。
~~~     同时，对率函数是任意阶可导的凸函数，有很多的数学性质，
~~~     现有的很多数值优化算法都可直接用于求取最优解。
~~~     接下来我们将采用梯度下降的方法对其进行求解，首先我们将对梯度下降理论进行简单介绍。

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor

bdv029-算法

|NO.Z.00013|——————————|BigDataEnd|——|Arithmetic&Machine.v13|——|Machine：逻辑回归算法.v01|

相关

标签