勿滿足于眼前的小小成就。你要問自己，我這輩子隻有這樣嗎。
VGGNet 是牛津大學計算機視覺組（ Visual Geometry Group〉和 Google DeepMind公司的研究員一起研發的的深度卷積神經網絡。VGGNet探索了卷積神經網絡的深度與其性能之間的關系，通過反複堆疊3x3的小型卷積核和2x2的晟大池化層，VGGNet成功地
構築了 16~19層深的卷積神經網絡。VGGNet相比之前state-of-the-art的網絡結相，錯誤率大幅下降，并取得了 ILSVRC 2014比賽分類項目的第2名和定位項目的第1名，同時VGGNct的拓展性很強，遷移到其他圖檔資料上的泛化性非常好。VGGNet的結構非常簡潔，整個網絡都使用了同樣大小的卷積核尺寸（3x3)和最大池化尺寸（2x2)。到目前為止，VGGNet依然經常被甩來提取圖像特征。VGGNel訓練後的模型參數在其官方網站上開源了，可用來在domain_specific的圖像分類任務上進行再訓練（相當于提供了非常好的初始化權重)，是以被用在了很多地方。
作者在對比各級網絡時總結了一下觀點：
- LRN層作用不大
- 越深的網絡效果越好
- 1X1的卷積也是很有效的，但是沒有3X3的卷積好，大一些的卷積核可以學習更大的空間特征
VGGNet訓練時使用了 4塊Geforce GTX Titan GPU并行計算，速度比單塊GPU快3.75倍，幾乎沒有太多性能損耗。但是，每個網絡耗時2〜3周才可以訓練完。是以我們這裡不直接使用mageNet資料訓練一個VGGNet,而是采用跟AlexNet —樣的方式：構
造出VGGNet網絡結構，并評測其forward (inference )耗時和backward (training)耗時。
我們要實作的是VGGNet-16,首先需要導入幾個常用庫
from datetime import datetime
import math
import time
import tensorflow as tf
定義 一個函數用來建立卷積層并把本層的參數存入參數清單。input_op是輸入的tensor，name是這一層的名稱，kw，kh是卷積核的寬高,n_out是輸出通道數，dw,dh是步長的寬高，p是參數清單。使用get_shape()[-1].value擷取輸入input_op的通道數，然後使用tf.name_scope()設定scope，使用tf.get_variable建立卷積核參數。
使用tf.contrib.layers.xavier_initializer_conv2d()來做參數初始化
接着使用tf.nn.conv2d對input_op進行卷積處理，卷積核即為kernel,步長是dhXdw，padding模式設為SAME。 biases使用tf.constant指派為0，再使用tf.Variable将其轉成可訓練的參數。使用tf.nn.bias_add将卷積結果conv與bias相加，再使用tf.nn.rcki對其進行非線性處理得到activation。最後将建立卷積層時用到的參數kernel和biases添加進參數清單P，并将卷積層的輸出activation作為函數結果傳回。
def conv_op(input_op, name, kh, kw, n_out, dh, dw, p):
n_in = input_op.get_shape()[-1].value
with tf.name_scope(name) as scope:
kernel = tf.get_variable(scope + "w", shape=[kh, kw, n_in, n_out], dtype=tf.float32,
initializer=tf.contrib.layers.xavier_initializer_conv2d())
conv = tf.nn.conv2d(input_op, kernel, (1, dh, dw, 1), padding='SAME')
bias_init_val = tf.constant(0.0, shape=[n_out], dtype=tf.float32)
biases = tf.Variable(bias_init_val, trainable=True, name='b')
z = tf.nn.bias_add(conv, biases)
activation = tf.nn.relu(z, name=scope)
p += [kernel, biases]
return activation
定義全連接配接層的建立函數fc_op。一樣是先擷取輸入input_op的通道數，然後使用tf.get_variable建立全連撿層的參數，隻不過參數的次元隻有兩個，第一個次元為輸入的 通 道 數n_in, 第 二 個次元為輸出的通道數n_out,同樣，參數初始化方法也使用xavicr_initiaHzei■。這裡biases不再初始化為0，而是賦予一個較小的値0.1以避免死亡節點。然後使用tf.nn_rclu_layer對輸入變量input_op與kernel做矩陣乘法并加上biases,再做ReLU非線性變換得到activation。最後将這個全連接配接層用到參數kernel、biases添加到參數P，并将actication作為函數結果傳回。
def fc_op(input_op, name, n_out, p):
n_in = input_op.get_shape()[-1].value
with tf.name_scope(name) as scope:
kernel = tf.get_variable(scope + 'w', shape=[n_in, n_out], dtype=tf.float32,
initializer=tf.contrib.layers.xavier_initializer())
biases = tf.Variable(tf.constant(0.1, shape=[n_out], dtype=tf.float32), name='b')
activation = tf.nn.relu_layer(input_op, kernel, biases, name=scope)
p += [kernel, biases]
return activation
定義最大池化層的建立函數mpool_op，直接使用tf.nn.max_pool，輸入為input_op，池化尺寸為khXkw，步長為dhXdw,padding模式為SAME。
def mpool_op(input_op, name, kh, kw, dh, dw):
return tf.nn.max_pool(input_op, ksize=[1, kh, kw, 1], strides=[1, dh, dw, 1], padding='SAME', name=name)
開始建立VGGNet-16的網絡結構，一共分6個部分，前5個部分是卷積網絡，最後一段是全連接配接網絡。
前兩段卷積網絡都是由兩個卷積層和一個最大池化層組成。
後三段卷積網絡都是由三層卷積網絡金和一個最大池化層組成。
這些卷積層的卷積核大小都是3X3，步長都是1X1，輸出通道依次遞增64,54,128,128,256,256,256,512,512,512,512,512,512
池化層的尺寸和步長都為2X2
在第五段之後将輸出結果使用tf.reshape扁平化,連接配接一個隐含節點數為4096的全連接配接層，激活函數為ReLU,再連接配接一個Dropout層，訓練時節點保留率為0.5,預測時為0.1
再連接配接一層和前面一樣的全連接配接和Dropout層
最後連接配接一個有1000個隐含節點的全連接配接層，并使用Softmax進行處理得到分類輸出機率，用tf.argmax求出輸出機率最大的類别
def inference_op(input_op, keep_prob):
p = []
conv1_1 = conv_op(input_op, name='conv1_1', kh=3, kw=3, n_out=64, dh=1, dw=1, p=p)
conv1_2 = conv_op(conv1_1, name='conv1_2', kh=3, kw=3, n_out=64, dh=1, dw=1, p=p)
pooll = mpool_op(conv1_2, name='pool1', kh=2, kw=2, dw=2, dh=2)
conv2_1 = conv_op(pooll, name='conv2_1', kh=3, kw=3, n_out=128, dh=1, dw=1, p=p)
conv2_2 = conv_op(conv2_1, name='conv2_2', kh=3, kw=3, n_out=128, dh=1, dw=1, p=p)
pool2 = mpool_op(conv2_2, name='pool2', kh=2, kw=2, dh=2, dw=2)
conv3_1 = conv_op(pool2, name='conv3_1', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)
conv3_2 = conv_op(conv3_1, name='conv3_2', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)
conv3_3 = conv_op(conv3_2, name='conv3_3', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)
pool3 = mpool_op(conv3_3, name='pool3', kh=2, kw=2, dh=2, dw=2)
conv4_1 = conv_op(pool3, name='conv4_1', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
conv4_2 = conv_op(conv4_1, name='conv4_2', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
conv4_3 = conv_op(conv4_2, name='conv4_3', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
pool4 = mpool_op(conv4_3, name='pool4', kh=2, kw=2, dh=2, dw=2)
conv5_1 = conv_op(pool4, name='conv5_1', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
conv5_2 = conv_op(conv5_1, name='conv5_2', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
conv5_3 = conv_op(conv5_2, name='conv5_3', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)
pool5 = mpool_op(conv5_3, name='pool5', kh=2, kw=2, dw=2, dh=2)
shp = pool5.get_shape()
flattened_shape = shp[1].value * shp[2].value * shp[3].value
resh1 = tf.reshape(pool5, [-1, flattened_shape], name='resh1')
fc6 = fc_op(resh1, name='fc6', n_out=4096, p=p)
fc6_drop = tf.nn.dropout(fc6, keep_prob, name='fc6_drop')
fc7 = fc_op(fc6_drop, name='fc7', n_out=4096, p=p)
fc7_drop = tf.nn.dropout(fc7, keep_prob, name='fc7_drop')
fc8 = fc_op(fc7_drop, name='fc8', n_out=1000, p=p)
softmax = tf.nn.softmax(fc8)
predictions = tf.argmax(softmax, 1)
return predictions, softmax, fc8, p
定義評測函數，大體上和上一篇文章講的相似，差別在于在session.run()中引入了feed_dict，友善後面傳入keep_prob來控制Dropout層的保留比率。
def time_tensorflow_run(session, target, feed, info_string):
num_steps_burn_in = 10
total_duration = 0.0
total_duration_squared = 0.0
for i in range(num_batches + num_steps_burn_in):
start_time = time.time()
_ = session.run(target, feed_dict=feed)
duration = time.time() - start_time
if i >= num_steps_burn_in:
if not i % 10:
print('%s: step %d,duration= %.3f' % (datetime.now(), i - num_steps_burn_in, duration))
total_duration += duration
total_duration_squared += duration * duration
mn = total_duration / num_batches
vr = total_duration_squared / num_batches - mn * mn
sd = math.sqrt(vr)
print('%s: %s across %d steps, %.3f +/- %.3f sec/batch' % (datetime.now(), info_string, num_batches, mn, sd))
def run_benchmark():
with tf.Graph().as_default():
image_size = 224
images = tf.Variable(tf.random_normal([batch_size, image_size, image_size, 3], dtype=tf.float32, stddev=1e-1))
keep_prob = tf.placeholder(tf.float32)
predictions, softmax, fc8, p = inference_op(images, keep_prob)
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
time_tensorflow_run(sess, predictions, {keep_prob: 1.0}, 'Forward')
objective = tf.nn.l2_loss(fc8)
grad = tf.gradients(objective, p)
time_tensorflow_run(sess, grad, {keep_prob: 0.5}, 'Forward-backward')
開始訓練
batch_size = 32
num_batches = 100
run_benchmark()
你跑出來的結果大概是這樣子的，因為我電腦上的GPU不支援GPU加速是以隻能使用CPU跑，很慢。如果你想要訓練圖檔分類模型可以将裡面随機生成的圖檔資料換成資料集
2018-12-12 19:00:13.613267: step 0,duration= 12.318
2018-12-12 19:02:24.378325: step 10,duration= 11.982
2018-12-12 19:04:16.319532: step 20,duration= 11.173
2018-12-12 19:06:10.084819: step 30,duration= 11.261
2018-12-12 19:08:08.133246: step 40,duration= 12.033
2018-12-12 19:10:03.608293: step 50,duration= 11.531
2018-12-12 19:11:59.739291: step 60,duration= 11.599
2018-12-12 19:14:00.238291: step 70,duration= 12.148
2018-12-12 19:15:59.480806: step 80,duration= 12.508
2018-12-12 19:18:07.685465: step 90,duration= 11.691
2018-12-12 19:19:54.632671: Forward across 100 steps, 11.933 +/- 0.882 sec/batch
2018-12-12 19:26:44.429814: step 0,duration= 37.432
2018-12-12 19:32:56.634669: step 10,duration= 36.793
![TestLink導出用例轉換工具(XML2Excel)[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)