【机器学习基础】Logistic回归基础

soft binary classification

Logistics回归模型要解决的是分类问题，在之前的二元分类问题中，我们将数据分成正例和负例，但是像PLA算法一样，用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是，我们希望能得到正例的概率值是多少。

logistic regression的假设

我们在PLA和线性回归算法中都用数据的加权来计算一个分数s，在logistic回归中，我们用sigmoid函数来将这个分数s转化成0到1的概率值。

所以，用下面的h(x)来表示一个假设，而这个logistic函数θ(x)就是θ(x)=1/[1+exp(-x)]（该函数平滑且处处可微）。

logistic regression的训练误差函数

我们设想目标函数f(x) = P(+1|x)，这里数据的正例和负例的概率分布其实是一个伯努利分布。那么，如果我们的假设h(x)要逼近f(x)函数，那么对于训练数据D，由h构成的似然度应该近似等于从这个伯努利分布中抽取数据的概率。

那么我们要求的最终假设g就是使得这个似然度最大的h。

接下来，我们来衡量这个可能性(likelihood)，这里将数据的先验概率P(xi)化成灰色，因为它对于所有的数据来说都是一样的，所以相当于是一 个常数，整理一下，我们可以看到这个可能性正比于所有的h乘起来的结果（其中h(ynxn)包含了h(xi)和h(-xi)的情形）。

cross entropy error

下面的图片告诉了我们，如何将这个可能性的式子进行化简，使得我们在后面的计算变得容易。我们用θ(·)函数代替了h，将式子取对数使得乘积的形式变成求和的形式，最后再添一个负号，将最大似然函数的形式变成了求解最小值的最优化问题。

这里，我们定义了交叉熵误差来衡量我们的训练误差。

最小化误差函数

我们得到了训练误差的具体形式，由于这个训练误差函数是可微并且是凸函数，所以依照之前的思路，对这个函数求梯度。

我们要使得梯度为0，这里虽然我们得到了求取w的数学式子，但是这个式子并不是一个闭合的公式，无法像线性回归一样直接求解一个矩阵来得到解，那么如何找到满足这个条件的w呢？

梯度下降法

让我们回想一下PLA演算法中求w的过程，是通过错分的数据来一步一步修正的，从而得到最终的w。
这里，我们可以按照类似的思路，一步一步的去修正w，使得Ein的结果越来越小。
在logistic回归中，Ein的式子是平滑的。现在我们可以将这个Ein想象成一个山谷，我们要到达山谷的最低点，就是要沿着当前的梯度最大的方向每次迈出一小步，直到到达谷底，使得Ein最小，得到最佳解w。

线性近似

要确定一个w使得Ein最小，不可能一步到位，指导思路还是由繁化简，用线性近似(linear approximation)的方式来解决问题，我们用多维度的泰勒展开公式来近似Ein，只要给定一个小的η，就可以近似这个Ein。

这里Ein(wt)和η都是已知的，Ein的梯度表示了下降的方向，也可以求出来，唯一要考虑的就是最好的向量v该如何选择。

梯度下降

对于v和Ein的梯度这两个向量，使得其值是最小的方法就是让v向量的方向和Ein的梯度的方向想法，这样使得两个向量的内积是最小的，另外由于v的模是1，还需要有个归一化的步骤。

由于η和▽Ein(wt)的模都是一个常数，可以将其化简成为一个新的η'，也可以用常数η来表示。

这样我们就得到了logistic回归求解最优化解的步骤。

随机梯度下降法(Stochastic Gradient Descent)

在上一小节的梯度下降法的介绍中，我们知道在每一轮迭代中，计算梯度时要把所有的点对梯度的共享都要计算出来m，如下图所示：

这里在每一轮的时间复杂度都是O(N)，这样看起来是有些麻烦费时的。那有没有一种方法可以将每一轮的时间复杂度降为O(1)呢？
如上一节，我们每一次的要更新的v都是要和所算的梯度是反方向的，但是我们能不能通过一个点(xn,yn)而不是N个点来得到这个v呢？
我们可以将求和再除以N的过程想象成一个随机过程的平均，将这个期望用随机的一个抽样来代替。所以这里不是一个真正的梯度，而是在一个点上对err函数做偏微分，把整体的梯度看做是这个随机过程的期望值。

这样，我们可以将随机梯度看做是真正的梯度减去随机的噪声，但是从期望值来说，可能和之前想要走的方向没有太大差别。

所以我们得到了随机梯度下降的方法，这种方法的优点是比较简单，适合在线学习和大量的数据的情形，缺点是稳定性不好，尤其是η太大的话，可能情况很糟糕，所以这里的η经验上取0.1会比较好。

其最终的表达式如下：

参考资料

机器学习基石课程，林轩田，台湾大学

转载请注明作者Jason Ding及其出处
Github主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)