[机器学习] Coursera ML笔记 - 神经网络（Learning） - Micheal Wang的机器学习乐园 - 博客频道 -...

本文主要记录我在学习神经网络过程中的心得笔记，共分为三个部分：

Neural network - Representation：神经网络的模型描述 ；

Neural network - Learning：神经网络的模型训练 ；

Neural network - Code：神经网络的代码实现。

本文是我在学习神经网络模型训练（Learning）时的笔记，主要以Andrew Ng老师在Coursera课程中以及UFLDL Tutorial中的关于神经网络模型训练的资料为主，文章小节安排如下：

1）神经网络的背景

2）代价函数（cost function）

3）优化（Optimization）/模型训练/参数学习

4）梯度检查（Gradient Checking）

5）随机初始化（Random Initialization）

6）Putting It Together

7）参考资料

8）结语

在阅读这部分笔记之前，请先阅读 《Neural network - Representation：神经网络的模型描述》 这一篇笔记，以了解神经网络的模型描述，激活函数，前向传播等基础知识。

这里重复一遍神经网络的灵感来源，

我认为一个好的算法，是具备自我学习、成长和进步能力的，可以不断的适应问题和环境变化。同样，一个好的人，一个好的公司，一个好的国家，也应该是具备这样的自我成长性，所谓好的事物是长出来的。

记得听过一个讲座，主讲人是国外大学的一位教授，他说：Deeplearning就是入侵其他领域的强有力武器，我们课题组是做图像的，半年前还一点都不懂 Natural language processing，但半年后我们就在该领域的顶级会议发了paper，因为我们只需要关心Raw data和深度网络模型，至于分词等技术我们并没有什么工作。

这位教授说的话也许有一定夸张成分，但也说明了神经网络是极具潜力的机器学习模型，可以用一套技术解决多个领域的问题，是不是非常类似于前述的人脑工作机制？并且现在大家也可以看到，深度神经网络目前基本上一统江湖，正在逐项碾压其他机器学习技术。

这是好事，也是坏事。

其实只要理解Cost function反映的就是预测值与实际值的误差，那么完全可以根据问题自定义一个Cost function表达式。在Coursera Machine Learning课程中将神经网络看作是输出层采用逻辑回归的分类器，因此其代价函数如下：

对比Logistic regression：

分析可以看出，

此时，神经网络里使用的代价函数是逻辑回归里中代价函数的一般化形式（generalization），也就是神经网络中不再是仅有一个逻辑回归输出单元，而是K个（就好像K个逻辑回归模型并行计算，也就是逻辑回归中的多分类问题）。

其中，

θ 指的是Softmax Regression的参数矩阵。

自编码神经网络是一种无监督学习算法，学习一个 Hw,b (x) ≈ x 的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出接近于输入。此时，自编码神经网络采用均方误差（MSE）作为代价函数，其代价函数形式如下：

实际上，

Autoencoder并不是用于分类，而是用于学习输入数据的压缩表示，可以发现输入数据中隐含着的一些特定结构。具体可以参考： Autoencoders and Sparsity

这里均值化指的是代价函数是否除以样本数，以及代价函数中哪一项应该除以样本数的问题。

首先对比Coursera ML课程中神经网络的代价函数公式：

细心的同学可以看到，

这里正则化项是除以样本数 m 的，而我给出的代价函数是没有除以样本数的，如下：

对于正则项是否除以样本数这个问题，我作为初学者还没有看到确切深入的讨论，并且看到的大多数资料中是没有均值化的。根据实验，在不同的问题中，正则项是否均值化对优化过程的影响也不一样的，有时候可能没有影响，有时候就会致使梯度无法收敛，这一点大家可以在代码中实验一下。

这里我根据学习和实验中粗浅的经验总结如下：

其实代价函数是否除以样本数（均值化），是整体均值化？还是部分均值化？这在很多算法模型中都存在这个问题，比如在Sparse Autoencoder中，代价函数由误差项，权重衰减项（正则化项），稀疏惩罚项构成，如下：

那么，在具体实现时，到底应该如何均值化呢？

基本原则是这样，

这里引用UFLDL的讲解：

如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是选择使用 softmax 分类器呢，还是使用 logistic 回归算法建立 k 个独立的二元分类器呢？

这一选择取决于你的类别之间是否互斥，例如，如果你有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，那么你可以假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k = 4 的softmax回归。（如果在你的数据集中，有的歌曲不属于以上四类的其中任何一类，那么你可以添加一个“其他类”，并将类别数 k 设为5。）

现在我们来看一个计算视觉领域的例子，你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是：室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢？ (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片，你又会选择 softmax 回归还是多个 logistic 回归分类器呢？

在第一个例子中，三个类别是互斥的，因此更适于选择softmax回归分类器 。而在第二个例子中，建立三个独立的logistic回归分类器更加合适。

当设置偏置单元=1，并在参数矩阵 Θ 中设置第 0 列对应为偏置单元的参数时，就存在一个问题：是否惩罚偏置单元对应的参数？

引用Andrew Ng老师对该问题的说明：

一般来说是不惩罚偏置项的，因为没什么意义。

均方误差（MeanSquaredError,MSE）是衡量“平均误差”的一种较方便的方法，可以评价数据的变化程度。对于等精度测量来说，还有一种更好的表示误差的方法，就是标准误差。标准误差定义为各测量值误差的平方和的平均值的平方根。数理统计中均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE。MSE是衡量“平均误差”的一种较方便的方法，MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。与此相对应的，还有均方根误差RMSE、平均绝对百分误差等等。

参考： Bing网典 - 均方误差

1，标准误差一般用来判定该组测量数据的可靠性，在数学上它的值等于测量值误差的平方和的平均值的平方根。

2，标准误差在正态分布中表现出正态分布曲线的陡峭程度，标准误差越小，曲线越陡峭，反之，曲线越平坦。

3，标准误差在实际的计算中使用的是标准误差估算值。

4，标准误差不是实际误差。

参考： Bing网典 - 标准误差

神经网络的优化依然可以采用梯度下降法（Gradient descent），而梯度下降法需要两方面的计算：

1）代价函数

2）梯度

即，

代价函数的计算公式前面已经给出，

J(Θ) 的梯度如何计算就需要请出大名鼎鼎的 反向传播算法（Backpropagation Algorithm） ！

定义如下网络，输出层采用逻辑回归：

首先，我们引入 符号 δ ，解释如下：

代表了第 l 层的第 j 个节点的误差。

那么，各层各节点的error计算如下：

其中，

可以看出，与激励值（activation）计算类似，误差的计算也是层层传递的，δ ³ 的计算依赖于δ ⁴ ，δ ² 的计算依赖于δ ³ 。这样一种误差计算方式，就称之为 反向传播（backpropagation） 。

以上面的网络模型为例，反向传播算法从后往前（或者说从右往左）计算，即从输出层开始计算，并反向逐层向前计算每一层的 δ 。 反向传播法这个名字源于我们从输出层开始计算 δ 项，然后我们返回到上一层计算第 3 个隐藏层的 δ 项，接着我们再往前一步来计算 δ ² 。所以说我们是类似于把输出层的误差反向传播给了第3层，然后是再传到第2层，这就是反向传播的意思。

通过反向传播计算的这些 δ 项，可以非常快速的计算出所有参数的偏导数项（J(Θ) 关于 所有θ的偏导数项）。

让我们将反向传播与前向传播对比一下：

因此可以说，

备注，

上面只是一种直观的解释，那么 δ 项到底是什么？其实 δ 本质上是代价函数 J 对加权和 z 的求导结果。

这里引用Coursera ML课程中的描述：

这里重点讨论两个问题：

比如，

再比如，

那么是什么原因导致了上面不同的公式形式呢？其实原因就在于所采用的代价函数和输出层激励函数的形式。

下面我们可以利用两种形式的代价函数进行偏导数计算，验证上述结论，如下：

输出层激励函数（也可以称为预测函数）采用：

则 δ(L) 推导如下：

输出层激励函数（也可以称为预测函数）采用：

则 δ(L) 推导如下：

则 δ(L) 推导如下：

综上可以看出，

至此，完成 δ(L) 计算的推导和讨论，也解答了神经网络最后一层误差计算出现不同公式形式的原因，希望可以为大家提供一定参考。

如果对于上述推导感兴趣，请参考： https://share.coursera.org/wiki/index.php/ML:Neural_Networks:_Learning http://deeplearning.stanford.edu/wiki/index.php/Backpropagation_Algorithm

在神经网络模型中，代价函数 J(Θ) 关于 参数 θ 的偏导数（partial derivative terms）/梯度计算如下：

向量化描述如下：

关于该计算公式的推导可以参考wiki ML中关于Neural Network: Learning一节（ https://share.coursera.org/wiki/index.php/ML:Neural_Networks:_Learning ）。

Andrew Ng老师给出的用于计算梯度的Backpropagation Algorithm如下：

写到这里想起来前阵子听讲座，主讲人的两句吐槽：

1）入门神经网络只要学会计算梯度就行了，其他什么概念都不需要了解，比SVM简单多了，并且想现在很多Toolbox连梯度都帮你计算了，你还需要做什么？你只需要配置下网络结构就可以了，代码都不用写，越来越没有门槛了。

2）算个梯度还搞出个什么反向传播（Backpropagation），说到底不就是链式法则（chain rule）么！现在人真会玩，换个名词就炒冷饭！

关于利用反向传播算法计算梯度，可以重点参考：

备注，

确实，在Coursera ML课程中，Andrew Ng老师的讲解一开始告诉你说，Backpropagation是用来反向逐层计算误差的。而后续的讲解，包括很多资料里所描述的BP算法又是是用来计算梯度的。这到底是咋回事呢？

如前所述，反向传播仅仅是计算过程的一个直观上的称呼罢了，更重要的是其背后的神经网络求导思想，所以，

无论说：反向传播是用来逐层计算（或称传递）误差的；又或者说：反向传播是用来计算梯度的。 其实所说所指的都是如何对神经网络的参数进行快速求导这个事情。

如果非要较真儿，也许可以这样理解前向传播、反向传播、梯度计算之间的关系：

为了更清晰更方便的记忆激励值、误差、前向传播、反向传播等概念，可以这样：

得到代价函数和梯度，就可以利用梯度下降算法来求解最优参数，描述如下：

方向导数：函数上某一点在某一方向上的导数值，偏导数就是沿着坐标轴的方向导数；

偏导数：一个多变量的函数的偏导数，就是它关于其中一个变量的导数而保持其他变量恒定（相对于全导数，在其中所有变量都允许变化），偏导数反映的是函数沿坐标轴正方向的变化率；

梯度：梯度即是某一点最大的方向导数，沿梯度方向函数有最大的变化率（正向增加，逆向减少）；

参考：

方向导数和梯度

百度百科-梯度

反向传播算法作为一个有很多细节的算法在实现的时候比较复杂，可能会遇到很多细小的错误。所以如果把BP算法和梯度下降法或者其他优化算法一起运行时，可能看起来运行正常，并且代价函数可能在每次梯度下降法迭代时都会减小，但是可能最后得到的计算结果误差较高，更要命的是很难判断这个错误结果是哪些小错误导致的。

梯度检查 (Gradient Checking)的思想就是通过数值近似（numerically approximately）的方式计算导数近似值，从而检查导数计算是否正确。虽然数值计算方法速度很慢，但实现起来很容易，并且易于理解，所以它可以用来验证例如BP算法等快速求导算法的正确性。

如前所述，机器学习中大部分算法的核心就是代价值计算和梯度计算，因此，在实现神经网络或者其他比较复杂的模型时候，利用Gradient Checking可以检查算法是否正确实现。

梯度检查 (Gradient Checking)的核心是导数的数值计算 ，公式如下：

多参数情况的公式如下：

其中，

DVec：利用反向传播算法得到的导数，BP是一个比较有效率的计算导数的方法；

gradApprox：利用数值近似得到的导数，数值计算法速度很慢；

如果两者相等或者近似，最多几位小数的差距，那么就可以确信所实现的BP算法是正确的。

当运行一个优化算法（例如梯度下降算法或者其他高级优化算法）时，需要给变量 θ 设置初始值。例如，在梯度下降法中，需要对 θ 进行初始化（通常为全0），然后使用梯度下降的方法不断最小化函数 J，最终代价函数 J 下降到最小。

但要注意的是，

以第一层参数矩阵（权重矩阵）为例，假定有K个隐藏单元，那么神经网络的参数矩阵 Θ1 实质上对应着特征的K个映射函数（映射关系），如果参数全为 0，那就意味着所有映射关系都是相同的，即所有的隐藏单元都在计算相同的激励值，那么这样一个具有很多隐藏单元的网络结构就是完全多余的表达，最终该网络只能学到一种特征。

解决办法其实很简单，即：随机初始化（Random Initialization）

描述如下：

所有权重相同的问题称为对称权重（Symmetric ways），随机初始化解决的就是如何打破这种对称性，需要做的就是对 θ 的每个值进行初始化，使其范围在 -ɛ 到 +ɛ 之间。

ɛ 的取值：

Θ 的初始化：

这里引用课程中的一张PPT来作说明：

下面总结网络结构设计的几点基本原则：

对于一个用于分类的神经网络，输入层即特征，输出层即类别。

Number of input units = dimension of features x(i)

Number of output units = number of classes

完成上述理解，便可以得到神经网络的训练过程，如下。

下面附一张Andrew Ng老师在Coursera ML课程中的PPT，来给出神经网络训练过程的直观描述：

（由于绘图所限，这里假定代价函数 J(Θ) 只有两个参数值）

———————————————————————

实际上，梯度下降算法和其他一些高级优化方法理论上都只能使神经网络的代价函数收敛于局部最小值，不过一般来讲这个问题并不是什么要紧的事，因为尽管不能保证这些优化算法一定会得到全局最优值，但通常来讲这些算法在最小化代价函数 J(θ) 的过程中还是表现得很不错的，通常能够得到一个很小的局部最小值，虽然这不一定是全局最优值。

UFLDL Tutorial

Coursera - Machine learning( Andrew Ng)

Coursera -ML:Neural Networks: Representation

Coursera -ML:Neural Networks: Learning

本文的文字、公式和图形都是笔者根据所学所看的资料经过思考后认真整理和撰写编制的，如有朋友转载，希望可以注明出处：

[机器学习] Coursera ML笔记 - 神经网络（Learning） http://blog.csdn.net/walilk/article/details/50504393