利用卷積神經網絡處理MNIST

本文轉自TensorFlow中文社群

學習建構一個TensorFlow模型的基本步驟，并為 MNIST建構一個深度卷積神經網絡。

程式如下：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

sess = tf.InteractiveSession()

#建構一個卷積神經網絡
x = tf.placeholder("float", shape=[None, 784])
y_ = tf.placeholder("float", shape=[None, 10])


#權重初始化
 #在初始化時應該加入少量的噪聲來打破對稱性以及避免0梯度
 #由于我們使用的是ReLU神經元，是以比較好的做法是用一個較小的正數來初始化偏置項，
 # 以避免神經元節點輸出恒為0的問題；建立函數友善初始化
def weight_variable(shape):
  initial = tf.truncated_normal(shape, stddev=0.1)
  return tf.Variable(initial)

def bias_variable(shape):
  initial = tf.constant(0.1, shape=shape)
  return tf.Variable(initial)

#卷積和池化
 #使用vanilla版本。我們的卷積使用1步長（stride size），0邊距（padding size）的模闆，
 # 保證輸出和輸入是同一個大小。我們的池化用簡單傳統的2x2大小的模闆做max pooling。
def conv2d(x, W):
  return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

def max_pool_2x2(x):
  return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                        strides=[1, 2, 2, 1], padding='SAME')

#第一層卷積（卷積層+池化層）
#卷積在每個5x5的patch中算出32個特征。卷積的權重張量形狀是[5, 5, 1, 32]，
# 前兩個次元是patch的大小，接着是輸入的通道數目，最後是輸出的通道數目。
# 而對于每一個輸出通道都有一個對應的偏置量。
W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
#我們把x變成一個4d向量，其第2、第3維對應圖檔的寬、高，最後一維代表圖檔的顔色通道數
# (因為是灰階圖是以這裡的通道數為1，如果是rgb彩色圖，則為3)。
x_image = tf.reshape(x, [-1,28,28,1])
#我們把x_image和權值向量進行卷積，加上偏置項，然後應用ReLU激活函數，最後進行max
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)

#第二層卷積
W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])

h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)
#密集連接配接層
#現在，圖檔尺寸減小到7x7，我們加入一個有1024個神經元的全連接配接層，用于處理整個圖檔。
# 我們把池化層輸出的張量reshape成一些向量，乘上權重矩陣，加上偏置，然後對其使用ReLU。
W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

#Dropout 減少過拟合
#我們用一個placeholder來代表一個神經元的輸出在dropout中保持不變的機率
keep_prob = tf.placeholder("float")
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

#輸出層（softmax）
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])

y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

#訓練和評估模型
cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
sess.run(tf.global_variables_initializer())
for i in range(20000):
  batch = mnist.train.next_batch(50)
  if i%100 == 0:
    train_accuracy = accuracy.eval(feed_dict={
        x:batch[0], y_: batch[1], keep_prob: 1.0})
    print("step %d, training accuracy %g"%(i, train_accuracy))
  train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

print("test accuracy %g"%accuracy.eval(feed_dict={
    x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))
           

程式運作結果：

...
step 19700, training accuracy 1
step 19800, training accuracy 1
step 19900, training accuracy 1
test accuracy 0.9916
           

相關知識補充：

1、ReLU

ReLU：f(x)=max(0,x)  

ReLU的有效性展現在兩個方面：克服梯度消失的問題，加快訓練速度。即使用簡單、速度快

2、随機數的生成

tf.truncated_normal與tf.random_normal的差別

生成的值都服從具有指定平均值和标準偏差的正态分布，但前者如果生成的值大于平均值2個标準偏差的值則丢棄重新選擇。

3、卷積和池化函數

（1）tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)

介紹參數：

input：指卷積需要輸入的參數，具有這樣的shape[batch, in_height, in_width, in_channels]，分别是[batch張圖檔, 每張圖檔高度為in_height, 每張圖檔寬度為in_width, 圖像通道為in_channels]。

filter：指用來做卷積的濾波器，當然濾波器也需要有相應參數，濾波器的shape為[filter_height, filter_width, in_channels, out_channels]，分别對應[濾波器高度, 濾波器寬度, 接受圖像的通道數, 卷積後通道數]，其中第三個參數 in_channels需要與input中的第四個參數 in_channels一緻，out_channels第一看的話有些不好了解，如rgb輸入三通道圖，我們的濾波器的out_channels設為1的話，就是三通道對應值相加，最後輸出一個卷積核。

strides:代表步長，其值可以直接預設一個數，也可以是一個四維數如[1,2,1,1]，則其意思是水準方向卷積步長為第二個參數2，垂直方向步長為1.其中第一和第四個參數我還不是很明白，請大佬指點，貌似和通道有關系。

padding：代表填充方式，參數隻有兩種，SAME和VALID，SAME比VALID的填充方式多了一列，比如一個3*3圖像用2*2的濾波器進行卷積，當步長設為2的時候，會缺少一列，則進行第二次卷積的時候，VALID發現餘下的視窗不足2*2會直接把第三列去掉，SAME則會填充一列，填充值為0。

use_cudnn_on_gpu：bool類型，是否使用cudnn加速，預設為true。大概意思是是否使用gpu加速，還沒搞太懂。

name：給傳回的tensor命名。給輸出feature map起名字。

（2）tf.nn.max_pool(value, ksize, strides, padding, name=None)

value：池化的輸入，一般池化層接在卷積層的後面，是以輸出通常為feature map。feature map依舊是[batch, in_height, in_width, in_channels]這樣的參數。

ksize：池化視窗的大小，參數為四維向量，通常取[1, height, width, 1]，因為我們不想在batch和channels上做池化，是以這兩個次元設為了1。ps：估計面tf.nn.conv2d中stries的四個取值也有              相同的意思。

stries：步長，同樣是一個四維向量。

padding：填充方式同樣隻有兩種不重複了。

4、Dropout

dropout是指在深度學習網絡的訓練過程中，對于神經單元，按照一定的機率将其暫時從網絡中丢棄。注意是暫時，對于随機梯度下降來說，由于是随機丢棄，故而每一個mini-batch都在訓練不同的網絡。dropout在CNN中有效防止過拟合提高效果

dropout率的選擇：經過交叉驗證，隐含節點dropout率等于0.5的時候效果最好，原因是0.5的時候dropout随機生成的網絡結構最多。

其他防止過拟合的方法：提前終止（當驗證集上的效果變差的時候）、L1和L2正則化權重、soft weight sharing 

5、 softmax

logistics回歸模型在多分類問題上的推廣。