使用 TensorFlow 实现神经网络的简介

   <h2><strong>介绍</strong></h2>    <p>如果你一直在关注 数据科学 / 机器学习 ，你不能错过深度学习和神经网络的嗡嗡声。 组织正在寻找有深度学习技能的人，无论他们在哪里。 从运行竞争到开源采购项目和支付大额奖金，人们正在尽一切可能的事情来挖掘这个有限的人才库。 自行车工程师正在被汽车行业的大枪猎杀，因为行业处于过去几十年最大的破坏的边缘！</p>    <p>如果你对潜在客户的深度学习感到兴奋，但还没有开始你的旅程 - 我在这里启用它。 从本文开始， 我将撰写一系列关于深度学习的文章，涵盖流行的深度学习图书馆及其实践实施。</p>    <p>在本文中，我将向您介绍 TensorFlow。 阅读本文后，您将能够理解神经网络的应用，并使用 TensorFlow 来解决现实生活中的问题。 这篇文章将需要你知道神经网络的基础知识和熟悉编程。 虽然本文中的代码是在 python 中，我已经关注的概念，并保持作为语言不可知的尽可能。 让我们开始吧！</p>    <p><img src="https://simg.open-open.com/show/eb7345ab1697130f28ae9108e423ad7e.jpg"></p>    <h3><strong>什么时候应用神经网络？</strong></h3>    <p>对于神经网络和深度学习上这里有更详细的解释 点击阅读 。 其“更深”的版本在许多领域都有取得巨大的突破，如图像识别，语音和自然语言处理等。</p>    <p>主要的问题在如何用好神经网络？ 这个领域就像一个金矿，现在，每天都会有许多新发现。 为了成为这个“淘金热”的一部分，你必须记住几件事：</p>    <ul>     <li> <p>首先，神经网络需要明确和翔实的数据（主要是与大数据）训练， 试着想象神经网络作为一个孩子。 它首先观察它的父母走路。 然后它试图自己走，并且每一步，孩子学习如何执行一个特定的任务。 它可能会下降几次，但经过几次不成功的尝试，它学会如何走路。 如果你不 ’ 吨让它走，它可能不会永远学习如何走路。 你可以为孩子提供更多的曝光，越好。</p> </li>     <li> <p>谨慎的做法是利用神经网络的复杂问题，如图像处理，神经网络属于一类称为算法代表学习算法。 这些算法分解复杂的问题分为简单的形式，使他们成为可以理解的（或 “ 可表示 ”）。 认为它是咀嚼食物之前你吞咽。 这对于传统（非表示学习）算法将更难。</p> </li>     <li> <p>当有适当类型的神经网络，以解决这个问题，每个问题都有自己的曲折。 所以数据决定你解决问题的方式。 例如，如果问题是序列生成的问题，递归神经网络更合适。 然而，如果它是图像相关的问题，你可能会更好地采取卷积神经网络的变化。</p> </li>     <li> <p>最后但并非最不重要的， 硬件 要求是运行了深刻的神经网络模型的关键。神经网被 “ 发现 ” 很久以前，但他们在近年来的主要的原因是计算资源更好，更强大的光亮。 如果你想解决这些网络的现实生活中的问题，准备购买一些高端的硬件！</p> </li>    </ul>    <h3><strong>通常神经网络解决的问题</strong></h3>    <p>神经网络是一种特殊类型的机器学习（ML）算法。 因此，作为每个 ML 算法，它遵循数据预处理，模型建立和模型评估的通常 ML 工作流。 为了简明起见，我列出了如何处理神经网络问题的 TO DO 列表。</p>    <ul>     <li>检查是否就是神经网络 使您隆起比传统的算法 有问题 （参见清单中的部分上方）</li>     <li>做一个调查哪个神经网络架构最适合所需的问题</li>     <li>定义神经网络架构，通过它选择任何语言/库。</li>     <li>将数据转换为正确的格式并分批分割</li>     <li>根据您的需要预处理数据</li>     <li>增强数据以增加大小并制作更好的训练模型</li>     <li>批次供给到神经网络</li>     <li>训练和监测培训和验证数据集的变化</li>     <li>测试您的模型，并保存以备将来使用</li>    </ul>    <p>对于本文，我将专注于图像数据。 所以让我们明白，首先我们深入到TensorFlow。</p>    <h3><strong>了解图像数据和流行的库来解决它</strong></h3>    <p>图像大多排列为 3-D 阵列，尺寸指高度、宽度和颜色通道。 例如，如果你在这一刻截取你的电脑， 它将首先转换成一个 3-D 数组，然后压缩它 ‘.jpeg’ 或 ‘.png’ 文件格式。</p>    <p>虽然这些图像对于人类来说很容易理解，但计算机很难理解它们。 这种现象称为“语义空隙”。 我们的大脑可以看看图像，并在几秒钟内了解完整的图片。 另一方面，计算机将图像看作一个数字数组。 所以问题是我们如何解释这个图像到机器？</p>    <p>在早期，人们试图将图像分解为机器的“可理解”格式，如“模板”。 例如，面部总是具有在每个人中有所保留的特定结构，例如眼睛，鼻子或我们的脸的形状。 但是这种方法将是乏味的，因为当要识别的对象的数量将增加，“模板”将不成立。</p>    <p>快进到2012年，一个深层神经网络架构赢得了 ImageNet 的挑战，一个着名的挑战，从自然场景中识别对象。 它继续在所有即将到来的 ImageNet 挑战中统治其主权，从而证明了解决图像问题的有用性。 人们通常使用哪些库/语言来解决图像识别问题？其中 最近的一次调查 我这样做，最流行的深度学习图书馆有接口的 Python ，其次是 Lua 中， Java 和 Matlab 的。 最流行的图书馆，仅举几例，是：</p>    <ul>     <li>Caffe</li>     <li>DeepLearning4j</li>     <li>TensorFlow</li>     <li>Theano</li>     <li>Torch</li>    </ul>    <p>现在，您了解了图像的存储方式以及使用的常用库，让我们看看 TensorFlow 提供的内容。</p>    <h3><strong>什么是 TensorFlow？</strong></h3>    <p>让我们从官方定义开始.</p>    <p>“TensorFlow 是一个开源软件库，用于使用数据流图进行数值计算。 图中的节点表示数学运算，而图边表示在它们之间传递的多维数据阵列（也称为张量）。 灵活的架构允许您使用单一 API 将计算部署到桌面，服务器或移动设备中的一个或多个 CPU 或 GPU 。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/4a67e12961d71d510c83c2aa35a8febb.gif"></p>    <p>如果这听起来有点可怕 - 不要担心。 这里是我简单的定义 - 看看 TensorFlow 作为没有什么，只是 numpy 与扭曲。 如果你以前工作过 numpy ，理解 TensorFlow 将是一块蛋糕！ numpy 和 TensorFlow 之间的主要区别是 TensorFlow 遵循惰性编程范例。 它首先构建一个所有操作的图形，然后当调用“会话”时，它“运行”图形。 它通过将内部数据表示更改为张量（也称为多维数组）来构建为可扩展的。 构建计算图可以被认为是 TensorFlow 的主要成分。 </p>    <p>很容易将 TensorFlow 分类为神经网络库，但它不仅仅是这样。 是的，它被设计成一个强大的神经网络库。 但它有能力做更多的事情。 您可以在其上构建其他机器学习算法，如决策树或 k-最近邻 。 你可以从字面上做你通常会做的一切 numpy ！ 它适当地称为“类固醇上的 numpy”</p>    <p>使用 TensorFlow 的优点是：</p>    <ul>     <li><strong>它有一个直观的结构</strong>  ，因为顾名思义它有 “张量流”， 你可以轻松地可视每图的每一个部分。</li>     <li><strong>轻松地在 cpu / gpu 上进行分布式计算</strong></li>     <li><strong>平台的灵活性</strong>  。 您可以随时随地运行模型，无论是在移动，服务器还是 PC 上。</li>    </ul>    <h3><strong>TensorFlow 的典型 “流”</strong></h3>    <p>每个库都有自己的“实现细节”，即一种写其遵循其编码范例的方式。 例如，当实现 scikit-learn 时，首先创建所需算法的对象，然后在列车上构建一个模型并获得测试集的预测，如下所示：</p>    <pre>  # define hyperparamters of ML algorithm  clf = svm.SVC(gamma=0.001, C=100.)  # train   clf.fit(X, y)  # test   clf.predict(X_test)</pre>    <p>正如我前面所说，TensorFlow 遵循一种懒惰的方法。 在 TensorFlow 中运行程序的通常工作流程如下：</p>    <ul>     <li><strong>建立一个计算图</strong> ， 这可以是任何的数学运算 TensorFlow 支撑。</li>     <li><strong>初始化变量</strong> ， 编译预先定义的变量</li>     <li><strong>创建会话</strong> ， 这是 神奇的开始的 地方 ！</li>     <li><strong>在会话中运行图</strong> ， 编译图形被传递到会话，它开始执行它。</li>     <li><strong>关闭会话</strong> ， 结束这次使用。</li>    </ul>    <p>TensoFlow 中使用的术语很少</p>    <pre>  placeholder：将数据输入图形的一种方法  feed_dict：将数值传递到计算图的字典</pre>    <p>让我们写一个小程序来添加两个数字！</p>    <pre>  # import tensorflow  import tensorflow as tf    # build computational graph  a = tf.placeholder(tf.int16)  b = tf.placeholder(tf.int16)    addition = tf.add(a, b)    # initialize variables  init = tf.initialize_all_variables()    # create session and run the graph  with tf.Session() as sess:      sess.run(init)      print "Addition: %i" % sess.run(addition, feed_dict={a: 2, b: 3})    # close session  sess.close()</pre>    <h3><strong>在 TensorFlow 中实现神经网络</strong></h3>    <p>注意：我们可以使用不同的神经网络体系结构来解决这个问题，但是为了简单起见，我们在深入实施中讨论了前馈多层感知器。</p>    <p>让我们记住我们对神经网络的了解。</p>    <p>神经网络的典型实现如下：</p>    <ul>     <li>定义要编译的神经网络体系结构</li>     <li>将数据传输到模型</li>     <li>在引擎盖下，数据首先被分成批次，以便它可以被摄取。 首先对批次进行预处理，扩增，然后送入神经网络进行训练</li>     <li>然后，模型被逐步地训练</li>     <li>显示特定数量的时间步长的精度</li>     <li>训练后保存模型供将来使用</li>     <li>在新数据上测试模型并检查其运行方式</li>    </ul>    <p>在这里，我们解决了我们深刻的学习实践中的问题 - 确定数字 。 让我们花一点时间看看我们的问题陈述。</p>    <p>我们的问题是图像识别，以识别来自给定的 28×28 图像的数字。 我们有一个图像子集用于训练，其余的用于测试我们的模型。 所以首先，下载火车和测试文件。 数据集包含数据集中所有图像的压缩文件， train.csv 和 test.csv 都有相应的列车和测试图像的名称。 数据集中不提供任何其他功能，只是原始图像以 “.png” 格式提供。</p>    <p>正如你所知道的，我们将使用 TensorFlow 来创建一个神经网络模型。 所以你应该首先在你的系统中安装 TensorFlow 。 </p>    <p>我们将按照上述模板</p>    <ul>     <li>让我们来 导入所有需要的模块</li>    </ul>    <pre>  %pylab inline    import os  import numpy as np  import pandas as pd  from scipy.misc import imread  from sklearn.metrics import accuracy_score  import tensorflow as tf</pre>    <ul>     <li>让我们来 设置一个种子值，这样我们就可以控制我们的模型随机性</li>    </ul>    <pre>  # To stop potential randomness  seed = 128  rng = np.random.RandomState(seed)</pre>    <ul>     <li>第一步是设置目录路径，以便保管！</li>    </ul>    <pre>  root_dir = os.path.abspath('../..')  data_dir = os.path.join(root_dir, 'data')  sub_dir = os.path.join(root_dir, 'sub')    # check for existence  os.path.exists(root_dir)  os.path.exists(data_dir)  os.path.exists(sub_dir)</pre>    <ul>     <li>现在让我们读取我们的数据集。 这些是.csv格式，并有一个文件名以及相应的标签</li>    </ul>    <pre>  train = pd.read_csv(os.path.join(data_dir，'Train'，'train.csv'))  test = pd.read_csv(os.path.join（data_dir，'Test.csv'))  sample_submission = pd.read_csv(os.path.join(data_dir，'Sample_Submission.csv'))  train.head()</pre>    <table>     <thead>      <tr>       <th> </th>       <th>文件名</th>       <th>标签</th>      </tr>     </thead>     <tbody>      <tr>       <td>0</td>       <td>0.png</td>       <td>4</td>      </tr>      <tr>       <td>1</td>       <td>1.png</td>       <td>9</td>      </tr>      <tr>       <td>2</td>       <td>2.png</td>       <td>1</td>      </tr>      <tr>       <td>3</td>       <td>3.png</td>       <td>7</td>      </tr>      <tr>       <td>4</td>       <td>4.png</td>       <td>3</td>      </tr>     </tbody>    </table>    <ul>     <li>让我们看看我们的数据是什么样子！ 我们读取我们的形象并显示出来。</li>    </ul>    <pre>  img_name = rng.choice(train.filename)  filepath = os.path.join(data_dir, 'Train', 'Images', 'train', img_name)    img = imread(filepath, flatten=True)    pylab.imshow(img, cmap='gray')  pylab.axis('off')  pylab.show()</pre>    <p><img src="https://simg.open-open.com/show/fff7c7434bfe3f183e742e6deee8c545.png"></p>    <p>上面的图像表示为 numpy 数组，如下所示</p>    <p><img src="https://simg.open-open.com/show/a71c5fabca245a52af3ef16d321fbac6.png"></p>    <ul>     <li>为了方便数据操作，让我们 的存储作为 numpy 的阵列的所有图片</li>    </ul>    <pre>  temp = []  for img_name in train.filename:      image_path = os.path.join(data_dir, 'Train', 'Images', 'train', img_name)      img = imread(image_path, flatten=True)      img = img.astype('float32')      temp.append(img)        train_x = np.stack(temp)    temp = []  for img_name in test.filename:      image_path = os.path.join(data_dir, 'Train', 'Images', 'test', img_name)      img = imread(image_path, flatten=True)      img = img.astype('float32')      temp.append(img)        test_x = np.stack(temp)</pre>    <ul>     <li>由于这是典型的 ML 问题，为了测试我们的模型的正确功能，我们创建一个验证集。 让我们 以 70:30 的分割大小车组 VS 验证集</li>    </ul>    <pre>  split_size = int(train_x.shape[0]*0.7)    train_x, val_x = train_x[:split_size], train_x[split_size:]  train_y, val_y = train.label.values[:split_size], train.label.values[split_size:]</pre>    <ul>     <li>现在我们定义一些辅助函数，我们稍后在我们的程序中使用</li>    </ul>    <pre>  def dense_to_one_hot(labels_dense, num_classes=10):      """Convert class labels from scalars to one-hot vectors"""      num_labels = labels_dense.shape[0]      index_offset = np.arange(num_labels) * num_classes      labels_one_hot = np.zeros((num_labels, num_classes))      labels_one_hot.flat[index_offset + labels_dense.ravel()] = 1            return labels_one_hot    def preproc(unclean_batch_x):      """Convert values to range 0-1"""      temp_batch = unclean_batch_x / unclean_batch_x.max()            return temp_batch    def batch_creator(batch_size, dataset_length, dataset_name):      """Create batch with random samples and return appropriate format"""      batch_mask = rng.choice(dataset_length, batch_size)            batch_x = eval(dataset_name + '_x')[[batch_mask]].reshape(-1, 784)      batch_x = preproc(batch_x)            if dataset_name == 'train':          batch_y = eval(dataset_name).ix[batch_mask, 'label'].values          batch_y = dense_to_one_hot(batch_y)                return batch_x, batch_y</pre>    <ul>     <li>现在是主要部分！ 让我们定义我们的神经网络架构。 我们定义一个神经网络具有 3 层; 输入，隐藏和输出。 输入和输出中的神经元数目是固定的，因为输入是我们的 28×28 图像，并且输出是表示类的 10×1 向量。 我们在隐藏层中取 500 神经元。 这个数字可以根据您的需要变化。 我们也 值 赋给 其余变量。 </li>    </ul>    <pre>  ### set all variables    # number of neurons in each layer    input_num_units = 28*28    hidden_num_units = 500    output_num_units = 10    # define placeholders  x = tf.placeholder(tf.float32, [None, input_num_units])  y = tf.placeholder(tf.float32, [None, output_num_units])    # set remaining variables  epochs = 5  batch_size = 128  learning_rate = 0.01    ### define weights and biases of the neural network (refer this article if you don't understand the terminologies)    weights = {      'hidden': tf.Variable(tf.random_normal([input_num_units, hidden_num_units], seed=seed)),      'output': tf.Variable(tf.random_normal([hidden_num_units, output_num_units], seed=seed))  }    biases = {      'hidden': tf.Variable(tf.random_normal([hidden_num_units], seed=seed)),      'output': tf.Variable(tf.random_normal([output_num_units], seed=seed))  }</pre>    <ul>     <li>现在创建我们的神经网络计算图</li>    </ul>    <pre>  hidden_layer = tf.add(tf.matmul(x, weights['hidden']), biases['hidden'])  hidden_layer = tf.nn.relu(hidden_layer)    output_layer = tf.matmul(hidden_layer, weights['output']) + biases['output']</pre>    <ul>     <li>此外，我们需要定义神经网络的成本</li>    </ul>    <pre>  cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(output_layer, y))</pre>    <ul>     <li>并设置优化器，即我们的反向传播算法。 这里我们使用  Adam  ，这是梯度下降算法的高效变体。</li>    </ul>    <pre>  optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost)</pre>    <ul>     <li>定义我们的神经网络结构后，让我们来 初始化所有的变量</li>    </ul>    <pre>  init = tf.initialize_all_variables()</pre>    <ul>     <li>现在让我们创建一个会话，并在会话中运行我们的神经网络。 我们还验证我们创建的验证集的模型准确性</li>    </ul>    <pre>  with tf.Session() as sess:      # create initialized variables      sess.run(init)            ### for each epoch, do:      ###   for each batch, do:      ###     create pre-processed batch      ###     run optimizer by feeding batch      ###     find cost and reiterate to minimize            for epoch in range(epochs):          avg_cost = 0          total_batch = int(train.shape[0]/batch_size)          for i in range(total_batch):              batch_x, batch_y = batch_creator(batch_size, train_x.shape[0], 'train')              _, c = sess.run([optimizer, cost], feed_dict = {x: batch_x, y: batch_y})                            avg_cost += c / total_batch                        print "Epoch:", (epoch+1), "cost =", "{:.5f}".format(avg_cost)            print "\nTraining complete!"                  # find predictions on val set      pred_temp = tf.equal(tf.argmax(output_layer, 1), tf.argmax(y, 1))      accuracy = tf.reduce_mean(tf.cast(pred_temp, "float"))      print "Validation Accuracy:", accuracy.eval({x: val_x.reshape(-1, 784), y: dense_to_one_hot(val_y.values)})            predict = tf.argmax(output_layer, 1)      pred = predict.eval({x: test_x.reshape(-1, 784)})</pre>    <p>这将是上面代码的输出</p>    <pre>  Epoch: 1 cost = 8.93566  Epoch: 2 cost = 1.82103  Epoch: 3 cost = 0.98648  Epoch: 4 cost = 0.57141  Epoch: 5 cost = 0.44550    Training complete!  Validation Accuracy: 0.952823</pre>    <ul>     <li>为了测试我们用我们自己的眼睛的模式， 让我们来 想象它的预言</li>    </ul>    <pre>  img_name = rng.choice(test.filename)  filepath = os.path.join(data_dir, 'Train', 'Images', 'test', img_name)    img = imread(filepath, flatten=True)     test_index = int(img_name.split('.')[0]) - 49000    print "Prediction is: ", pred[test_index]    pylab.imshow(img, cmap='gray')  pylab.axis('off')  pylab.show()</pre>    <pre>  Prediction is:  8</pre>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/2d64aa4c88e1ab79754d1c2920a9e714.png"></p>    <ul>     <li>我们看到我们的模型性能是相当不错！ 现在 ，让我们 创建一个提交</li>    </ul>    <pre>  sample_submission.filename = test.filename     sample_submission.label = pred    sample_submission.to_csv(os.path.join(sub_dir, 'sub01.csv'), index=False)</pre>    <p>并做了！ 我们刚刚创建了我们自己的训练神经网络！</p>    <h3><strong>TensorFlow 的限制</strong></h3>    <ul>     <li>尽管 TensorFlow 是强大的， 它 仍然 是 一个低水平库。 例如，它可以被认为是机器级语言。 但对于大多数功能，您需要自己去模块化和高级接口，如 keras</li>     <li>它仍然在继续开发和维护，这是多么迷人啊！</li>     <li>它取决于你的硬件规格，越牛越好</li>     <li>仍然不是许多语言的 API。</li>     <li>TensorFlow 中仍然有很多库需要手动包括在内，比如 OpenCL 支持。</li>    </ul>    <p>上面提到的大多数是在TensorFlow开发人员的蓝图， 他们已经制定了一个路线图，指定库未来应该如何开发。</p>    <h3><strong>TensorFlow 与其他库</strong></h3>    <p>TensorFlow 建立在类似的原理，如使用数学计算图表的 Theano 和 Torch 。 但是随着分布式计算的额外支持，TensorFlow 更好地解决复杂的问题。 此外，TensorFlow模型的部署已经被支持，这使得它更容易用于工业目的，打开商业图书馆，如 Deeplearning4j ，H2O 和 Turi。 TensorFlow 有用于 Python，C ++ 和 Matlab 的 API 。 最近还出现了对 Ruby 和 R 等其他语言的支持。因此，TensorFlow 试图获得通用语言支持。</p>    <h3><strong>从这里去哪里？</strong></h3>    <p>以上你看到了如何用 TensorFlow 构建一个简单的神经网络。 这段代码是为了让人们了解如何开始实现 TensorFlow，所以带上一点盐。 记住，要解决更复杂的现实生活中的问题，你必须调整代码一点。</p>    <p>许多上述功能可以被抽象为给出无缝的端到端工作流。 如果你使用 scikit-learn ，你可能知道一个高级库如何抽象“底层”实现，给终端用户一个更容易的界面。 尽管 TensorFlow 已经提取了大多数实现，但是出现了高级库，如 TF-slim 和 TFlearn。</p>    <h3> </h3>    <p>来自：http://talkingdata.me/2016/11/20/neural_networks_using_TensorFlow/</p>    <p> </p>