Caffe生成的数据分为2种格式：Lmdb和Leveldb。 它们都是键/值对（Key/Value Pair）嵌入式数据库管理系统编程库。 虽然lmdb的内存消耗是leveldb的1.1倍，但是lmdb的速度比leveldb快10%至15%，更重要的是lmdb允许多种训练模型同时读取同一组数据集。 因此lmdb取代了leveldb成为Caffe默认的数据集生成格式

本教程为了那些第一次使用caffe框架进行深度学习训练的人而生的，我来一个简单关于caffe训练数据的组织来个简单的介绍。我们都知道caffe中使用leveldb 和lmd两种方式进行组织数据。这里介绍一种使用lmd进行训练数据组织的方式。

摘要：如今深度学习是AI和机器学习领域最热门的学习趋势。我们来审查为深度学习而开发的软件，包括Caffe，CUDAconvnet，Deeplearning4j，Pylearn2，Theano和Torch。如今深度学习是AI和机器学习领域最热门的学习趋势。我们来审查为深度学习而开发的软件，包括Caffe，CUDAconvnet，Deeplearning4j，Pylearn2，Theano和Torch。深度学习是现在人工智能（ArtificialIntelligence）和机器学习（MachineLearning）最热门的的趋势，每天的报刊都在报道令人惊异的新成就，比如在IQ测试中超越了人类

购物篮分析：引发性例子1：经常同时购买的商品可以摆近一点，以便进一步刺激这些商品一起销售。2：规划哪些附属商品可以降价销售，以便刺激主体商品的捆绑销售。哪组商品顾客可能会在一次购物时同时购买？关联规则是形如的蕴含式，（支持度）规则在事务集D中成立，支持度S是事务包含的百分比。Support（）=P（）（置信度）置信度C是D中同时包含A的事务同时也包含B的百分比。Confidence（）=P（）/P（A）（k项集）包含k个项的项集称为k项集，频繁k项集的集合记作，候选k项集的集合记作。关联分析的基本概念

 C4.5是一种监督学习的分类算法，由ID3演进而来，并克服了ID3的以下几个不足：使用信息增益作为属性选择度量，更倾向于选择分支更多的属性不能处理连续值不能处理缺失值对树进行剪枝，避免过拟合 对以下训练数据，使用C4.5构造决策树选取分裂属性对于离散属性V，ID3中计算的是信息增益。但是信息增益的一个缺点是倾向于选择分支更多的属性，假设添加一个ID属性，每条数据都有不同的ID，那么使用信息增益作为度量时，属性ID产生的信息增益将是最大的，但是对每个ID做一个分支是没有意义的。

业余时间内我们可以做些什么过去3年，做了5件事情写博客帮助更多人找到工作，学习算法、数据挖掘、机器学习办读书会让普通学生和工程师有更好的交流讨论平台负责在线编程网站hero.pongo.cn帮助企业更好的找到人才办面试&算法讲座帮助人更好的找到工作办算法公开课助人加强算法，更好的学习工作写了3年博客包括以下5个系列：微软面试100题系列经典算法研究系列红黑树系列程序员编程艺术系列数据挖掘十大算法系列《支持向量机通俗导论（理解SVM的三层境界）》程序员编程艺术系列找工作帮忙最大的一个系列组织了8期读书会办了4次面试&算法讲座即将开办算法公开课内容堆排、快排hash表、二分查找、二叉查找树红黑树、B树/B+树/B*树、R树、Trie树、后缀树贪心算法、动态规划DFS、BFS、最小生成树、Dijkstra微积分、矩阵、概率论与数理统计、最优化决策树、贝叶斯、SVM、神经网络寻找讲师？

大纲深度学习简介基础问题：语言表示问题WordEmbedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/TensorNetwork/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考*深度学习（表示学习）*深度学习（表示学习

1、C4.5机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。

Grant的编程兴趣包括信息检索、机器学习、文本分类和提取。Grant是Apache Mahout机器学习项目的创始人之一，并且是Apache Lucene和Apache Solr项目的负责人和发言人。他还是描述使用开源工具进行自然语言处理的图书TamingText（Manning出版社，即将上市）的合著者。简介：Apache Mahout专家GrantIngersoll引领您快速了解最新版本Mahout中的机器学习库，并通过示例说明如何部署和扩展Mahout的某些最常用的算法。

当研究院和企业能获取足够的专项研究预算之后，能从数据和用户输入中学习的智能应用程序将变得更加常见。人们对机器学习技巧（比如说集群、协作筛选和分类）的需求前所未有地增长，无论是查找一大群人的共性还是自动标记海量 Web 内容。Apache Mahout 项目旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout 的创始者 Grant Ingersoll 介绍了机器学习的基本概念，并演示了如何使用Mahout 来实现文档集群、提出建议和组织内容。

　强学习要解决的是这样的问题：一个能够感知环境的自治agent，怎样学习选择能达到其目标的最优动作。这个很具有普遍性的问题应用于学习控制移动机器人、在工厂中学习进行最优操作工序、以及学习棋类对弈等。当agent在其环境中作出每个动作时，施教者会提供奖赏或惩罚信息，以表示结果状态的正确与否。

　纯粹的归纳学习方法通过在训练样例中寻找经验化的规律来形成一般假设。纯粹的分析方法使用先验知识演绎推导一般假设。本章考虑将归纳和分析的机制结合起来的方法，以获得两者的优点：有先验知识时更高的泛化精度，和依赖训练数据克服先验知识的不足。所得到的结合的方法比纯粹的归纳学习方法和纯粹的分析学习方法性能都要高。

神经网络和决策树这样的学习方法需要一定数目的训练样例，以达到一定级别的泛化精度。前面章节讨论的理论界限和实验结果反映出了这一事实。分析学习使用先验知识和演绎推理来扩大训练样例提供的信息，因此它不受同样的界限所制约。本章考虑了一种称为基于解释的学习（EBL）的分析学习方法。在基于解释的学习中，先验知识用于分析（或者解释）观察到的学习样例是怎样满足目标概念的。

　对学习到的假设，最具有表征力的和最能为人类所理解的表示方法之一为if-then规则的集合。本章探索了若干能学习这样的规则集合的算法。其中最重要的一种是学习包含变量的规则集合，或称为一阶Horn子句集合。由于一阶Horn子句集合可被解释为逻辑编程语言Prolog中的程序，学习的过程经常被称为归纳逻辑编程（ILP）。

遗传算法遗传算法提供了一种大致基于模拟进化的学习方法。其中的假设常被描述为二进制位串，位串的含义依赖于具体的应用。然而，假设也可以被描述为符号表达式或者甚至是计算机程序。对合适假设的搜索是从若干初始假设的群体（population）或汇集（collection）开始的。当前群体的成员通过模仿生物进化的方式来产生下一代群体，比如说随机变异（mutation）和交叉（crossover）。在每一步，根据给定的适应度（fitness）度量评估当前群体中的假设，而后使用概率方法选出适应度最高的假设作为产生下一代的种子。遗传算法已被成功地应用到多种学习任务和最优化问题中。例如，遗传算法已被用于学习机器人控制的规则集，以及优化人工神经网络的拓扑结构和学习参数。

基于实例的学习已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样例存储起来。从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例。

本章理论地刻画了若干类型的机器学习问题中的困难，和若干类型的机器学习算法的能力。该理论致力于回答如下的问题：“在什么样的条件下成功的学习是可能的？”以及“在什么条件下一特定的学习算法可保证成功运行？”为了分析学习算法，这里考虑了两种框架。

贝叶斯推理提供了推理的一种概率手段。它基于如下的假定，即待考查的量遵循某概率分布，且可根据这些概率及已观察到的数据进行推理，以作出最优的决策。贝叶斯推理对机器学习十分重要，因为它为衡量多个假设的置信度提供了定量的方法。

假设的精度进行经验的评估是机器学习中的基本问题。本章介绍了用统计方法估计假设精度，主要为解决以下三个问题：首先，已知一个假设在有限数据样本上观察到的精度，怎样估计它在其他实例上的精度。其次，如果一个假设在某些数据样本上好于另一个，那么一般情况下是否该假设更准确。

人工神经网络（Artificial Neural Networks - ANNs）提供了一种普遍而且实用的方法，来从样例中学习值为实数、离散或向量的函数。像反向传播（BackPropagation）这样的算法使用梯度下降来调节网络参数以最佳拟合由输入-输出对组成的训练集合。