从零开始使用TensorFlow建立简单的逻辑回归模型

   <p>TensorFlow 是一个基于 python 的机器学习框架。在 Coursera 上学习了逻辑回归的课程内容后，想把在 MATLAB 中实现了的内容用 TensorFlow 重新实现一遍，当做学习 Python 和框架的敲门砖。</p>    <h3>目标读者</h3>    <p>知道逻辑回归是什么，懂一点 Python，听说过 TensorFlow</p>    <h3>数据集</h3>    <p>来自 Coursera 上 Andrew 的机器学习课程中的 ex2data1.txt ，根据学生的两次考试成绩判断该学生是否会被录取。</p>    <h3>环境</h3>    <p>Python 2.7 - 3.x</p>    <p>pandas, matplotlib, numpy</p>    <h3>安装 TensorFlow</h3>    <p>在自己的电脑上安装 TensorFlow 框架，安装方法过程不赘述，CPU 版相对更容易一点，GPU 版需要 CUDA 支持，各位看官看情况安装就好。</p>    <h3>开始</h3>    <p>创建一个文件夹（比如就叫做 tensorflow ），在文件夹中创建一个 Python 文件 main.py ，并将数据集文件放到这个文件夹下：</p>    <p><img src="https://simg.open-open.com/show/57650a74a2baf315ca11bccb2cca6a56.jpg"></p>    <p>数据形式:</p>    <p><img src="https://simg.open-open.com/show/8a4c0f9c6b1a531f95a80b42a52f720f.jpg"></p>    <p>前两列分别为两次考试成绩（x1, x2），最后一列为是否被录取（y）， 1 代表被录取， 0 则反之。</p>    <p>在源文件 main.py 中，我们首先引入需要的包：</p>    <pre>  <code class="language-python">import pandas as pd                # 用于读取数据文件  import tensorflow as tf  import matplotlib.pyplot as plt    # 用于画图  import numpy as np                 # 用于后续计算</code></pre>    <p>pandas 是一个数据处理相关的包，可以对数据集进行读取和其他各种操作； matplotlib 可以用来把我们的数据集绘成图表展示出来。</p>    <p>接着我们将数据集文件读入程序，用于后面的训练：</p>    <pre>  <code class="language-python"># 读取数据文件  df = pd.read_csv("ex2data1.txt", header=None)  train_data = df.values</code></pre>    <p>pandas 函数 read_csv 可以将 csv（comma-separated values）文件中的数据读入 df 变量，通过 df.values 将 DataFrame 转化为二维数组：</p>    <p><img src="https://simg.open-open.com/show/bf1260be83d2b4d6198256a9e9e73888.jpg"></p>    <p>有了数据之后，我们需要将特征（x1, x2）和标签（y）分别放到两个变量中，以便在训练中代入公式：</p>    <pre>  <code class="language-python"># 分离特征和标签，并获取数据维数  train_X = train_data[:, :-1]  train_y = train_data[:, -1:]  feature_num = len(train_X[0])  sample_num = len(train_X)  print("Size of train_X: {}x{}".format(sample_num, feature_num))  print("Size of train_y: {}x{}".format(len(train_y), len(train_y[0])))</code></pre>    <p><img src="https://simg.open-open.com/show/53a56dc293056fdc48e1ba015c4e5b48.jpg"></p>    <p>可以看到，我们的数据集中有100条样例，每条样例的特征数量为2。</p>    <h3>TensorFlow 模型设计</h3>    <p>在逻辑回归中，我们使用的预测函数（Hypothesis）为：</p>    <p>$$</p>    <p>h_θ(x) = sigmoid(XW + b)</p>    <p>$$</p>    <p>其中， sigmoid 是一个 激活函数 ，在这里表示学生被录取的概率：</p>    <p>$$</p>    <p>P(y = 1 | x, \theta)</p>    <p>$$</p>    <p>这个函数的形状请 <a href="/misc/goto?guid=4959647245185957655" rel="nofollow,noindex">自行百度</a></p>    <p>W 和 b 是我们接下来的学习目标，W 为权值矩阵（Weights），b 为偏置量（Bias，体现在图像上又叫截距）。</p>    <p>我们使用的损失函数为：</p>    <p>$$</p>    <p>J(θ) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)}\log(h_\theta(x^{(i)})) + (1 - y^{(i)})\log(1 - h_\theta(x^{(i)})) \right]</p>    <p>$$</p>    <p>由于我们的数据集只有两个特征，因此不用担心过拟合，所以损失函数里的正规化项就不要了:relieved:。</p>    <p>首先我们用 TensorFlow 定义两个变量用来存放我们的训练用数据：</p>    <pre>  <code class="language-python"># 数据集  X = tf.placeholder(tf.float32)  y = tf.placeholder(tf.float32)</code></pre>    <p>这里的X和y不是一般的变量，而是一个 placeholder(占位符) ，意味着这两个变量的值是未指定的，直到你开始训练模型时才需要将给定的数据赋值给变量。</p>    <p>接着我们再定义出我们要训练的 W 和 b ：</p>    <pre>  <code class="language-python"># 训练目标  W = tf.Variable(tf.zeros([feature_num, 1]))  b = tf.Variable([-.9])</code></pre>    <p>这里他们的类型为 Variable(变量) ，意味着这两个变量将在训练迭代的过程中不断地变化，最终取得我们期望的值。可以看到，我们将 W 的初始值设为了 feature_num 维的0向量，将 b 初始值设为了 -0.9 （随便设的，不要介意:no_mouth:）</p>    <p>接下来我们要用 TensorFlow 的方式将损失函数表达出来：</p>    <pre>  <code class="language-python">db = tf.matmul(X, tf.reshape(W, [-1, 1])) + b  hyp = tf.sigmoid(db)    cost0 = y * tf.log(hyp)  cost1 = (1 - y) * tf.log(1 - hyp)  cost = (cost0 + cost1) / -sample_num  loss = tf.reduce_sum(cost)</code></pre>    <p>可以看到，我表达损失函数是分三步进行的：先分别将求和内的两部分表示出来，再将它们加和并和外面的常数 m 进行运算，最后对这个向量进行求和，便得到了损失函数的值。</p>    <p>接下来，我们要定义使用的优化方法：</p>    <pre>  <code class="language-python">optimizer = tf.train.GradientDescentOptimizer(0.001)  train = optimizer.minimize(loss)</code></pre>    <p>其中，第一步是选取优化器，这里我们选择梯度下降方法；第二步是优化目标，从函数名字顾名思义，我们的优化目标是使得损失函数的值最小化。</p>    <p>注意 ：此处的学习率（0.001）应当尽可能小，否则可能会出现 <a href="/misc/goto?guid=4959750151591462058" rel="nofollow,noindex"> 损失计算中出现 <em>log(0)</em> </a> 的问题。</p>    <h3>训练</h3>    <p>上面的工作做完之后，我们就可以开始训练我们的模型了。</p>    <p>在 TensorFlow 中，首先要将之前定义的 Variable 初始化：</p>    <pre>  <code class="language-python">init = tf.global_variables_initializer()  sess = tf.Session()  sess.run(init)</code></pre>    <p>在这里，我们看到出现了一个 tf.Session() ，顾名思义是 会话 ，即任务执行的主体。我们上面定义了一堆东西，只是一个模型为了得到结果而需要的执行步骤和框架，一个类似 流程图 的东西，光有流程图还不够，我们需要一个主体来实际地运行它，这就是 Session 的作用。</p>    <h3>----------特别提示----------</h3>    <p>如果你是使用 GPU 版 TensorFlow 的话，并且你想在显卡高占用率的情况下（比如玩游戏）训练模型，那你要注意在初始化 Session 的时候 <a href="/misc/goto?guid=4959750151701625380" rel="nofollow,noindex">为其分配固定数量的显存</a> ，否则可能会在开始训练的时候直接报错退出：</p>    <pre>  <code class="language-python">2017-06-27 20:39:21.955486: E c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\35\tensorflow\stream_executor\cuda\cuda_blas.cc:365] failed to create cublas handle: CUBLAS_STATUS_ALLOC_FAILED  Traceback (most recent call last):    File "C:\Users\DYZ\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow\python\client\session.py", line 1139, in _do_call      return fn(*args)    File "C:\Users\DYZ\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow\python\client\session.py", line 1121, in _run_fn      status, run_metadata)    File "C:\Users\DYZ\Anaconda3\envs\tensorflow\lib\contextlib.py", line 66, in __exit__      next(self.gen)    File "C:\Users\DYZ\Anaconda3\envs\tensorflow\lib\site-packages\tensorflow\python\framework\errors_impl.py", line 466, in raise_exception_on_not_ok_status      pywrap_tensorflow.TF_GetCode(status))  tensorflow.python.framework.errors_impl.InternalError: Blas GEMV launch failed:  m=2, n=100           [[Node: MatMul = MatMul[T=DT_FLOAT, transpose_a=false, transpose_b=false, _device="/job:localhost/replica:0/task:0/gpu:0"](_arg_Placeholder_0_0/_3, Reshape)]]</code></pre>    <p>这时你需要用下面的方法创建 Session ：</p>    <pre>  <code class="language-python">gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)  sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))</code></pre>    <p>这里的 0.333 就是占你总显存的份额。</p>    <h3>----------End 特别提示----------</h3>    <p>下面就是用我们的数据集来对模型进行训练了：</p>    <pre>  <code class="language-python">feed_dict = {X: train_X, y: train_y}    for step in range(1000000):      sess.run(train, {X: train_X, y: train_y})      if step % 100 == 0:          print(step, sess.run(W).flatten(), sess.run(b).flatten())</code></pre>    <p>首先讲要传入的数据存放到一个变量中，在训练模型时传入 sess.run() ；我们进行 10000 次训练，每隔 100</p>    <p>次输出一次当前的目标参数 W, b 。</p>    <p>到这里，训练代码的部分就完成了，你可以使用你自己的 python 命令来运行了。如果你严格按照上面的代码做了，不出现错误，你现在应该可以看到控制台里已经开始不断输出训练状态了：</p>    <p><img src="https://simg.open-open.com/show/189170de9a410f010f81be53c02c3f37.png"></p>    <h3>图形化表示结果</h3>    <p>当训练结束后，你可以得到一个 W ，和一个 b ，这样我们可以将数据集和拟合的结果通过图表直观地展现出来。</p>    <p>就在写作的过程中，我用上面的代码训练出了一个结果：</p>    <p><img src="https://simg.open-open.com/show/fe44b370211ca7457302c03ed9622687.png"></p>    <p>我们将其直接写入代码，即：</p>    <pre>  <code class="language-python">w = [0.12888144, 0.12310864]  b = -15.47322273</code></pre>    <p>下面我们先将数据集表示在图表上（x1为横轴，x2为纵轴）：</p>    <pre>  <code class="language-python">x1 = train_data[:, 0]  x2 = train_data[:, 1]  y = train_data[:, -1:]    for x1p, x2p, yp in zip(x1, x2, y):      if yp == 0:          plt.scatter(x1p, x2p, marker='x', c='r')      else:          plt.scatter(x1p, x2p, marker='o', c='g')</code></pre>    <p>其中，我们用 红色的x 代表 没有被录取 ，用 绿色的o 代表 被录取 。</p>    <p>其次我们将训练得出的决策边界 XW + b = 0 表示到图表上：</p>    <pre>  <code class="language-python"># 根据参数得到直线  x = np.linspace(20, 100, 10)  y = []  for i in x:      y.append((i * -w[1] - b) / w[0])        plt.plot(x, y)  plt.show()</code></pre>    <p>此时，如果你的代码没错的话，再次运行，你将得到如下结果：</p>    <p><img src="https://simg.open-open.com/show/b29a9fcfccf1b477ddeb1d68db8b044f.png"></p>    <p>可以看到，我们通过训练得出的参数划出一条直线，非常合适地将两种不同的数据样例区分开来。</p>    <p>到此，一个完整的简单的逻辑回归模型就实现完毕了，希望通过这篇文章，能让各位看官对在 TensorFlow 中机器学习模型的实现有一个初步的了解。本人也在初步学习当中，如有不当之处欢迎在评论区拍砖，在实现以上代码的过程中如果遇到什么问题也请在评论区随意开火。</p>    <p> </p>    <p>来自：https://segmentfault.com/a/1190000009954640</p>    <p> </p>