轻松看懂机器学习十大常用算法
vlzc3344
8年前
<p>通过本篇文章可以对ML的常用算法有个常识性的认识，没有代码，没有复杂的理论推导，就是图解一下，知道这些算法是什么，它们是怎么应用的，例子主要是分类问题。</p> <p>每个算法都看了好几个视频，挑出讲的最清晰明了有趣的，便于科普。</p> <p>以后有时间再对单个算法做深入地解析。</p> <p>今天的算法如下：</p> <ol> <li>决策树</li> <li>随机森林算法</li> <li>逻辑回归</li> <li>SVM</li> <li>朴素贝叶斯</li> <li>K最近邻算法</li> <li>K均值算法</li> <li>Adaboost 算法</li> <li>神经网络</li> <li>马尔可夫</li> </ol> <h3><strong>1. 决策树</strong></h3> <p>根据一些 feature 进行分类，每个节点提一个问题，通过判断，将数据分为两类，再继续提问。这些问题是根据已有数据学习出来的，再投入新数据的时候，就可以根据这棵树上的问题，将数据划分到合适的叶子上。</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/d5c3674fa39ef167eb53cd8b3d7c32c4.png"></p> <h3><strong>2. 随机森林</strong></h3> <p>在源数据中随机选取数据，组成几个子集</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/97caf6146941c672e353c165ea639343.png"></p> <p>S 矩阵是源数据，有 1-N 条数据，A B C 是feature，最后一列C是类别</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/f54f6e7cd5829f8830a3f6e4b6658ec6.png"></p> <p>由 S 随机生成 M 个子矩阵</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/8e96fa3ec77602bf51565f4c56e93fed.png"></p> <p>这 M 个子集得到 M 个决策树</p> <p>将新数据投入到这 M 个树中，得到 M 个分类结果，计数看预测成哪一类的数目最多，就将此类别作为最后的预测结果</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/9b795f0e979c97bbfe2592a56336204f.png"></p> <h3><strong>3. 逻辑回归</strong></h3> <p>当预测目标是概率这样的，值域需要满足大于等于0，小于等于1的，这个时候单纯的线性模型是做不到的，因为在定义域不在某个范围之内时，值域也超出了规定区间。</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/dab088e0b9bbfafd7c135a99fd2aa4e5.png"></p> <p>所以此时需要这样的形状的模型会比较好</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/26704946a7bb6a16a3edd2be78942e5c.png"></p> <p>那么怎么得到这样的模型呢？</p> <p>这个模型需要满足两个条件 大于等于0，小于等于1</p> <p>大于等于0 的模型可以选择 绝对值，平方值，这里用 指数函数，一定大于0</p> <p>小于等于1 用除法，分子是自己，分母是自身加上1，那一定是小于1的了</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/a7c8d7098d77a3ad16e68d81d2b0a455.png"></p> <p>再做一下变形，就得到了 logistic regression 模型</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/c4a2e8949c519ade51d5db04aae79930.png"></p> <p>通过源数据计算可以得到相应的系数了</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/20250869f0399d641694f98b64e85c60.png"></p> <p>最后得到 logistic 的图形</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/23353e2a2ad962cce6c6c4a4c710cc3f.png"></p> <h3><strong>4. SVM</strong></h3> <p>support vector machine</p> <p>要将两类分开，想要得到一个超平面，最优的超平面是到两类的 margin 达到最大，margin就是超平面与离它最近一点的距离，如下图，Z2>Z1，所以绿色的超平面比较好</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/685f92e89bc0206a20e2996eca3de0d9.png"></p> <p>将这个超平面表示成一个线性方程，在线上方的一类，都大于等于1，另一类小于等于－1</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/6ea178fdeb730faacf73e236c3b99500.png"></p> <p>点到面的距离根据图中的公式计算</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/32aea74221f84a3e89cd4ed019ad3fbf.png"></p> <p>所以得到 total margin 的表达式如下，目标是最大化这个 margin，就需要最小化分母，于是变成了一个优化问题</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/1157b789d46b3a7661474772e590ea8f.png"></p> <p>举个栗子，三个点，找到最优的超平面，定义了 weight vector＝（2，3）－（1，1）</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/00ecaf77d14dbb77b8fc4303185d0883.png"></p> <p>得到 weight vector 为（a，2a），将两个点代入方程，代入（2，3）另其值＝1，代入（1，1）另其值＝-1，求解出 a 和 截矩 w0 的值，进而得到超平面的表达式。</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/acfae760ab75f0e546f5e03994e4bbe1.png"></p> <p>a 求出来后，代入（a，2a）得到的就是 support vector</p> <p>a 和 w0 代入超平面的方程就是 support vector machine</p> <h3><strong>5. 朴素贝叶斯</strong></h3> <p>举个在 NLP 的应用</p> <p>给一段文字，返回情感分类，这段文字的态度是positive，还是negative</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/bff66e752eb381ce64e749c4cd629e2d.png"></p> <p>为了解决这个问题，可以只看其中的一些单词</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/aec6c651e282df7658a735abeb3f8624.png"></p> <p>这段文字，将仅由一些单词和它们的计数代表</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/fa489c3fd34df90945c6019c2609ea27.png"></p> <p>原始问题是：给你一句话，它属于哪一类</p> <p>通过 bayes rules 变成一个比较简单容易求得的问题</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/d42be77bdc5a7f93efbbfa74266e06bd.png"></p> <p>问题变成，这一类中这句话出现的概率是多少，当然，别忘了公式里的另外两个概率</p> <p>栗子：单词 love 在 positive 的情况下出现的概率是 0.1，在 negative 的情况下出现的概率是 0.001</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/f1e5e32e66d2e9909a69479576f53182.png"></p> <h3><strong>6. K最近邻</strong></h3> <p>k nearest neighbours</p> <p>给一个新的数据时，离它最近的 k 个点中，哪个类别多，这个数据就属于哪一类</p> <p>栗子：要区分 猫 和 狗，通过 claws 和 sound 两个feature来判断的话，圆形和三角形是已知分类的了，那么这个 star 代表的是哪一类呢</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/4049fab57c22db7a24a26d3e940b5e12.png"></p> <p>k＝3时，这三条线链接的点就是最近的三个点，那么圆形多一些，所以这个star就是属于猫</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/b237eb4156c5b00076944a7b630739b7.png"></p> <h3><strong>7. K均值</strong></h3> <p>想要将一组数据，分为三类，粉色数值大，黄色数值小</p> <p>最开心先初始化，这里面选了最简单的 3，2，1 作为各类的初始值</p> <p>剩下的数据里，每个都与三个初始值计算距离，然后归类到离它最近的初始值所在类别</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/4907772b2be1ac043fc600c62e7eae0a.png"></p> <p>分好类后，计算每一类的平均值，作为新一轮的中心点</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/ab0b37d993838ae16eefbee21dec3189.png"></p> <p>几轮之后，分组不再变化了，就可以停止了</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/10b2fcc5894c67cd0c9e0b6a86d7484d.png"></p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/dce119a2f49033138150f6fb316107f8.png"></p> <h3><strong>8. Adaboost</strong></h3> <p>adaboost 是 bosting 的方法之一</p> <p>bosting就是把若干个分类效果并不好的分类器综合起来考虑，会得到一个效果比较好的分类器。</p> <p>下图，左右两个决策树，单个看是效果不怎么好的，但是把同样的数据投入进去，把两个结果加起来考虑，就会增加可信度</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/5e2071c0b3ffe6b2575976885d767910.png"></p> <p>adaboost 的栗子，手写识别中，在画板上可以抓取到很多 features，例如 始点的方向，始点和终点的距离等等</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/e67ac86474900a223a888a307ef72bd9.png"></p> <p>training 的时候，会得到每个 feature 的 weight，例如 2 和 3 的开头部分很像，这个 feature 对分类起到的作用很小，它的权重也就会较小</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/e3e4ee347f98774cba742f196fcfdbb0.png"></p> <p>而这个 alpha 角 就具有很强的识别性，这个 feature 的权重就会较大，最后的预测结果是综合考虑这些 feature 的结果</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/721fd5f251f9cbbfef91411e232851d3.png"></p> <h3><strong>9. 神经网络</strong></h3> <p>Neural Networks 适合一个input可能落入至少两个类别里</p> <p>NN 由若干层神经元，和它们之间的联系组成</p> <p>第一层是 input 层，最后一层是 output 层</p> <p>在 hidden 层 和 output 层都有自己的 classifier</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/9929b87aff9929ae8f37bb0c1add3a1c.png"></p> <p>input 输入到网络中，被激活，计算的分数被传递到下一层，激活后面的神经层，最后output 层的节点上的分数代表属于各类的分数，下图例子得到分类结果为 class 1</p> <p>同样的 input 被传输到不同的节点上，之所以会得到不同的结果是因为各自节点有不同的weights 和 bias</p> <p>这也就是 forward propagation</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/3bd21b4299700e8d16075969dc224154.png"></p> <h3><strong>10. 马尔可夫</strong></h3> <p>Markov Chains 由 state 和 transitions 组成</p> <p>栗子，根据这一句话 ‘the quick brown fox jumps over the lazy dog’，要得到 markov chain</p> <p>步骤，先给每一个单词设定成一个状态，然后计算状态间转换的概率</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/9d0b2c55dbab7ea29f8cde059a87d016.png"></p> <p>这是一句话计算出来的概率，当你用大量文本去做统计的时候，会得到更大的状态转移矩阵，例如 the 后面可以连接的单词，及相应的概率</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/06d2ee626a1b5588db1fb4978d753de2.png"></p> <p>生活中，键盘输入法的备选结果也是一样的原理，模型会更高级</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/a875aac3477e448dbe561e05c42685bf.png"></p> <p> </p> <p>来自：http://blog.jobbole.com/108395/</p> <p> </p>