基于贝叶斯理论我们可以设计一个简单的算法输出最大后验假设

这里描述了一个基于朴素贝叶斯分类器的文本分类的通用算法。

在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。

Kd-树 其实是K-dimension tree的缩写，是对数据点在k维空间中划分的一种数据结构。其实，Kd-树是一种平衡二叉树。

k-近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。 一、基于实例的学习。 1、已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，...

 一、 C4.5  C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3 算法.   C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：  1) 用信息增...

在正式讨论聚类前，我们要先弄清楚一个问题：如何定量计算两个可比较元素间的相异度。用通俗的话说，相异度就是两个东西差别有多大，例如人类与章鱼的相异度明显大于人类与黑猩猩的相异度，这是能我们直观感受...

在机器学习(Machine learning)领域，主要有三类不同的学习方法： 监督学习(Supervised learning)、 非监督学习(Unsupervised learn...

一、Apriori 算法概述 Apriori 算法是一种最有影响力的挖掘布尔关联规则的频繁项集的 算法，它是由Rakesh Agrawal 和RamakrishnanSkrikant 提出的。...

分类回归树(CART,Classification And Regression Tree)也属于一种决策树，之前我们介绍了基于ID3和C4.5算法的决策树。这里只介绍CART是怎样用于分类的。...

最近在看斯坦福大学的机器学习的公开课，学习了支持向量机，再结合网上各位大神的学习经验总结了自己的一些关于支持向量机知识。

1、在之前我们把要寻找最优的分割超平面的问题转化为带有一系列不等式约束的优化问题。这个最优化问题被称作原问题。我们不会直接解它，而是把它转化为对偶问题进行解决。

在之前为了寻找最有分类器，我们提出了如下优化问题：

一、我们先回顾下SVM问题。 A、线性可分问题 1、SVM基本原理： SVM使用一种非线性映射，把原训练 数据映射到较高的维。在新的维上，搜索最佳分离...

本文主要介绍logistic回归相关知识点和一个手写识别的例子实现 一、logistic回归介绍： logistic回归算法很简单，这里简单介绍一下：

KNN算法基础思想前面文章可以参考，这里主要讲解java和python的两种简单实现，也主要是理解简单的思想。

正则化的作用实际上就是防止模型过拟合，提高模型的泛化能力。正则化的种类有很多，这里主要介绍在工程中用得较多的两类正则化，一个是L1正则化，另一个则是L2正则化。为了配合阐述，本文用linear ...

我们知道在机器学习中，很多时候问题都可以归结为一个最优化问题，而要解决这个最优化问题只需要求解出模型参数即可。大多数时候，只要给定数据可以直接用极大似然估计法估计模型参数。但是当模型里含有隐变量...

在上一篇文章中，我们提到了EM算法是解决含有隐变量的概率模型参数极大似然估计的方法。不过我们可能会问，为什么在求解完全数据的对数似然函数的期望时要用到隐变量Z的后验概率？为什么EM算法就一定能够...

 有相当一部分问题可以用动态规划（dynamic programing）来解决，下面用DP来表示。如果能够很好地掌握这类问题，那么对于编程能力将会是一个很大的提升。