vc维与模型复杂度、样本复杂度
引言
上一小节，我们引入了VC维的概念，用它来描述假设集合的表达能力。这一小节中，我们将从VC维的物理意义出发，进一步学习如何根据VC维传达的信息来选择模型和假设集合。
VC维的物理意义
如果我们将假设集合的数量|H|比作假设集合的自由度，那么VC维就是假设集合在做二元分类的有效的自由度，即这个假设空间能够产生多少Dichotomies的能力（VC维说的是，到什么时候，假设集合还能shatter，还能产生最多的Dichotomies）。
VC维、真实错误率、训练错误率
在上一节中，我们讨论要做到好的预测要满足两个条件，第一是训练误差要接近真实误差，即Ein(g)约等于Eout(g)；第二是训练误差要尽量接近0，即Ein(g)约等于0。
现在，我们用VC维这个工具来描述。
- 如果VC维很小，那么发生预测偏差很大的坏事情的可能性也就很小，那这有利于Ein(g)接近Eout(g)；但是，这是我们的假设空间的表达能力受到了限制，这样Ein(g)可能就没有办法做到很小。
- 如果VC维很大，那么假设空间的表达能力很强，我们很有可能选到一个Ein(g)很小的假设，但是Ein(g)和Eout(g)之差很大的坏事情 发生的情况发生的可能性就变得很大，这样Ein(g)和Eout(g)根本不接近，我们就无法确定选择的假设在测试数据的时候表现的很好。
这时，VC维变成了我们一个重要的选择，我们可以用VC维提供的信息来选择更好的模型和假设空间。
模型复杂度（Model Complexity）
我们可以根据VC Bound公式，设发生坏事情的概率是δ，将其恒等变换可以得到训练误差和测试误差的差别ε。所以反过来讲，好事情（训练误差和测试误差的差别小于ε）发 生时，Eout(g)被限制在一个范围内。这里根号内的式子定义为**Ω(N,Η,δ)，称作模型复杂度,这个参数描述的意义是，我们的假设空间H有多么 的强，使得我们的算法在泛化能力上需要付出多少代价。通俗的来讲，假设空间的容量越大，VC维越大，那么模型就越难学习。**
VC维传递的信息
如下图所示，我们可以看出随VC维变化，Ein、Eout、模型复杂度都是如何变化的。
这里一个很直接的信息就是模型复杂度随着VC维的变大不断变大，呈正相关趋势。
因为VC维变大时，数据中可以shatter的点就变多了，那么假设空间的容量就变大了，如果是一个合理的学习算法的话，就有机会找到一个更好的假设，使得Ein更小。
而Eout呢？在一开始的时候，Eout随着Ein的下降也下降，但是到某个点，因为我们要付出的代价变大了，Eout开始上升，所以最好的Eout是在中间的某个位置。
这里得到一个重要的结论，VC维越大或者假设空间能力越强大，虽然可以使得训练误差很小，但不见得是最好的选择，因为要为模型复杂度付出代价。