微软研究院大神Ross Girshick新作：fase CNN，测试速度比RCNN快200倍。

Caffe用右上图的观点来解释左上图：数据存储在多边形的datablob上conv1卷积运算对datablob中的数据进行操作卷积操作的结果存储到conv1blob上右图是一个多路径的前向五环Graph，是典型的最简单Train网络，datablob所在路径为网络主路径（卷积层、FC层、Pooling层等），Labelblob所在路径提供label数据用于计算loss或在Test时计算AccuracyCaffeModel要训练一个网络，在Caffe中至少要包含2个prototxt文件：一个是描述Net结构（“Blob+Layers+数据流”构成）的文件一个是描述训练算法的Solver文件

以下主要是对于Caffe主页文档的总结 1. 结构的生成：caffe的基本结构是采用google的proto库自动生成的，基本流程就是定义一个配置文件，扩展名为proto，调用proto库的编译器编译这个文件可以生成相应的类的c++的代码。具体的可以参见proto库的介绍。

在上一篇中配置好Caffe for windows并配置matlab接口之后，我们尝试运行RCNN（区域卷积神经网络）的demo，在给出该方法的思想之前，我们尝试运行demo看看效果如何。

深度学习（Deep Learning），又叫Unsupervised Feature Learning或者Feature Learning，是目前非常热的一个研究主题。 本文将主要介绍Deep Learning的基本思想和常用的方法。 一. 什么是Deep Learning？ 实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象，如文本的处理中，常常用词集合来表示一个文档，或把文档表示在向量空间中（称为VSM模型），然后才能提出不同的分类算法来进行分类；又如在图像处理中，我们可以用像素集合来表示一个图像，后来人们提出了新的特征表示，如SIFT，这种特征在很多图像处理的应用中表现非常良好，特征选取得好坏对最终结果的影响非常巨大。因此，选取什么特征对于解决一个实际问题非常的重要。

本PPT架构1、WHY2、WHAT3、HOW（模式图）4、HOW（公式推导）回顾review回顾review1、对sparseautoencoder的回顾总结：通过相似的输入和输出，用cost函数求出中间的参数（更新到最小的cost函数的输出就是中间的参数），而更新时需要用梯度下降法，梯度下降法需要偏导，偏导需要用BP算法。2、经典sparseautoencoder的输出应该是和输入数据尺寸大小一样的，且很相近。3、然后，拿掉那个后面的输出层后，隐含层的值就是我们所需要的特征值了。4、因为模型的输出是x，可以看出，特征值输出的也是x的特征，其实这是一种无监督的学习unsupervisedlearning的一种方式，叫self-taughtlearning5、在这种无监督学习中，可以看出，每个特征值(参数）都与输入相连。

Model中DCNN是Finetune VGG-16 net，像素级连接的CRF起到平滑边缘的作用。模型很清晰，看过FCN之后再看这个就相对比较轻松了。 通过控制Input Stride实现Fine目标（Dense Extractor），而不用像FCN结合Lower Layer和上采样的方式来Fine，相对FCN减小了运算量。Author最后还是结合了Lower Layer信息，进一步提升了效果

最近打算稍微系统的学习下deep learing的一些理论知识，打算采用Andrew Ng的网页教程UFLDL Tutorial，据说这个教程写得浅显易懂，也不太长。不过在这这之前还是复习下machine learning的基础知识

Artificial Intelligence，也就是人工智能，就像长生不老和星际漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了这两者，它甚至都不能分辨一个喵星人和一个汪星人。 图灵（图灵，大家都知道吧。计算机和人工智能的鼻祖，分别对应于其著名的“图灵机”和“图灵测试”）在1950年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，相关领域是“伪科学”。 

MNIST在caffe上的训练与学习.如果前面的train_net.cpp编译通过了，那么这个就非常简单。caffe训练和测试的数据都是需要leveldb格式的，niuzhiheng大牛已经给我们转好了MNIST的数据格式

Deep Learning已经火了好久，有些人已经在这里面耕耘了好多年，而有些人才刚刚开始，比如本人。如何才能快速地进入这个领域在较短的时间内掌握DeepLearning最新的技术是值得思考的问题。就目前的情况看，通过网络上的课程及各种Tutorials以及各种论文来研究这个领域是最佳的途径。经过一段时间的摸索，我以为围绕Deep Learning领域的四位大牛展开学习是最佳的具体方式。

本人修改的 caffe detection (windows)（gitcafe 链接，github 链接），针对车辆检测编译后的结果，目录中的主要文件如下所示。（注：本机为Window 7 x64 位系统，GTX 650 GPU 显卡。在无显卡机上请使用CPU模式运行）。

利用训练好的Caffe网络得到输入图像的分类本文档描述是：如果已经训练好了一个Caffe网络，如何利用这个网络进行图像的分类。以下以mnist网络为例。mnist是用来分类手写数字0-9的。当用户写好一个数字后，图像进入mnist网络，然后网络计算出每个数的概率，认为读到的是概率最大的数。

深度卷积网络CNN与图像语义分割.html级别1：DL快速上手级别2：从Caffe着手实践级别3：读paper，网络Train起来级别4：Demo跑起来读一些源码玩玩熟悉Caffe接口，写Demo这是硬功夫分析各层Layer输出特征级别5：何不自己搭个CNN玩玩TrainCNN时关于数据集的一些注意事项级别6：加速吧，GPU编程关于语义分割的一些其它工作说好的要笔耕不缀，这开始一边实习一边找工作，还摊上了自己的一点私事困扰，这几个月的东西都没来得及总结一下。这就来记录一下关于CNN、Caffe、ImageSematicSegmentation相关的工作，由于公司技术保密的问题，很多东西没办法和大家详说只能抱歉了。在5月份前，我也是一个DL和CNN的门外汉，自己试着看tutorials、papers、搭Caffe平台、测试CNNNet，现在至少也能改改Caffe源码（Add/ModifyLayer）、基于Caffe写个Demo。这里希望把学习的过程分享给那些在门口徘徊的朋友。没法事无巨细，但希望能起到提点的作用！“乍可刺你眼，不可隐我脚”。

train_net.cpptrain_net.cpp是caffe的主函数所在处，学习caffe时应该由此辐射到各个具体的函数去学习。

caffe源码简单解析——Blob（1）使用caffe也有一段时间了，但更多是使用Python的接口，使用现有的ImageNet训练好的模型进行图片分类。为了更好的了解caffe这个框架，也为了提高自己的水平，在对卷积神经网络有了一些研究之后，终于开始研读caffe的源码了，今天看了Blob类的一些内容，做个总结。看过caffe官方文档的话，应该会知道，它可以分为三层：Blob、Layer、Net。Blob是一个四维的数组，用于存储数据，包括输入数据、输出数据、权值等等；Layer层则是神经网络中具体的各层结构，主要是计算的作用，在根据配置文件初始化结构后，前向计算结果，反向更新参数，都是它要做的，而它的输入和输出都是Blob数据；Net的话，就是多个Layer组合而成的有向无环图结构，也就是具体的网络了。Layer和Net的代码有待深入，尤其是Layer的代码，caffe实现了差不多40种不同的Layer层，里面有不同的激活函数，这个要好好研究下。

caffe源码分析--math_functions.cu代码研究其中用到一个宏定义

Caffe代码导读（0）：路线图【Caffe是什么？】Caffe是一个深度学习框架，以代码整洁、可读性强、运行速度快著称。代码地址为：https://github.com/BVLC/caffe【博客目的】从接触Caffe、编译运行、阅读代码、修改代码一路走来，学习到不少内容，包括深度学习理论，卷积神经网络算法实现，数学库MKL，计算机视觉库OpenCV，C++模板类使用，CUDA程序编写……本博客目的是为初学者清除代码阅读中的障碍，结合官网文档、融入个人理解、注重动手实践

按照官网教程安装，我在 OS X 10.9 和 Ubuntu 14.04 上面都安装成功了。主要麻烦在于 glog gflags gtest 这几个依赖项是google上面的需要翻墙。由于我用Mac没有CUDA，所以安装时需要设置 CPU_ONLY := 1。 如果不是干净的系统，安装还是有点麻烦的比如我在OS X 10.9上面，简直不是一般的麻烦，OS X 10.9 默认的编译器是clang，所以还要修改编译器和重行编译一大堆依赖库。这方面其实网上教程很多，涵盖了各种你可能遇到的问题，多Google下问题还是可以解决的。

Leveldb介绍 Leveldb是一个google实现的非常高效的（key-value）数据库，能够支持十亿级别的数据量了。在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计。 LevelDB是单进程的服务，性能非常之高，在一台4核Q6600的CPU机器上，每秒钟写数据超过40w，而随机读的性能每秒钟超过10w。 实际中的应用：我是学习和使用caffe才知道有leveldb这个东西的，比leveldb更高级的有，不过我看了下其文档，比leveldb复杂多了，先学习leveldb，有时间再学习leveldb。 在caffe中没有python的leveldb示例，都是用C++直接将图片转化leveldb，之前仿照着写一个将自己的图片保存为leveldb，训练之后发现错误，而且找不到原因，所以就找了python的实现，毕竟python找错误比较简单一些。