TensorFlow2學習十三、實作AlexNet

一、簡介

以下内容整理來自百度百科

AlexNet是2012年ImageNet競賽冠軍獲得者Hinton和他的學生Alex Krizhevsky設計的。也是在那年之後，更多的更深的神經網絡被提出，比如優秀的vgg,GoogLeNet。 這對于傳統的機器學習分類算法而言，已經相當的出色。

網絡模型：

AlexNet中包含了幾個比較新的技術點，也首次在CNN中成功應用了ReLU、Dropout和LRN等Trick。同時AlexNet也使用了GPU進行運算加速。

AlexNet将LeNet的思想發揚光大，把CNN的基本原理應用到了很深很寬的網絡中。AlexNet主要使用到的新技術點如下：

（1）成功使用ReLU作為CNN的激活函數，并驗證其效果在較深的網絡超過了Sigmoid，成功解決了Sigmoid在網絡較深時的梯度彌散問題。雖然ReLU激活函數在很久之前就被提出了，但是直到AlexNet的出現才将其發揚光大。

（2）訓練時使用Dropout随機忽略一部分神經元，以避免模型過拟合。Dropout雖有單獨的論文論述，但是AlexNet将其實用化，通過實踐證明了它的效果。在AlexNet中主要是最後幾個全連接配接層使用了Dropout。

（3）在CNN中使用重疊的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出讓步長比池化核的尺寸小，這樣池化層的輸出之間會有重疊和覆寫，提升了特征的豐富性。

（4）提出了LRN層，對局部神經元的活動建立競争機制，使得其中響應比較大的值變得相對更大，并抑制其他回報較小的神經元，增強了模型的泛化能力。

（5）使用CUDA加速深度卷積網絡的訓練，利用GPU強大的并行計算能力，處理神經網絡訓練時大量的矩陣運算。AlexNet使用了兩塊GTX 580 GPU進行訓練，單個GTX 580隻有3GB顯存，這限制了可訓練的網絡的最大規模。是以作者将AlexNet分布在兩個GPU上，在每個GPU的顯存中儲存一半的神經元的參數。因為GPU之間通信友善，可以互相通路顯存，而不需要通過主機記憶體，是以同時使用多塊GPU也是非常高效的。同時，AlexNet的設計讓GPU之間的通信隻在網絡的某些層進行，控制了通信的性能損耗。 

（6）資料增強，随機地從256256的原始圖像中截取224224大小的區域（以及水準翻轉的鏡像），相當于增加了2*(256-224)^2=2048倍的資料量。如果沒有資料增強，僅靠原始的資料量，參數衆多的CNN會陷入過拟合中，使用了資料增強後可以大大減輕過拟合，提升泛化能力。進行預測時，則是取圖檔的四個角加中間共5個位置，并進行左右翻轉，一共獲得10張圖檔，對他們進行預測并對10次結果求均值。同時，AlexNet論文中提到了會對圖像的RGB資料進行PCA處理，并對主成分做一個标準差為0.1的高斯擾動，增加一些噪聲，這個Trick可以讓錯誤率再下降1%。

全流程：

二、tf2.0實作MNIST

代碼運作環境： google colab

AlexNet原始輸入圖像尺寸為227x227x3大小的1000分類，而Fasion MNIST圖像尺寸為28x28x1的10分類，輸入尺寸太小不足以完成網絡的下采樣過程，故需要對網絡進行簡單的修改：

1. 卷積層1：卷積核步長設為：2
2. 輸出層：輸出向量長度設為：10（分類數量）

代碼

try:
  # %tensorflow_version only exists in Colab.
  %tensorflow_version 2.x
except Exception:
  pass

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
import numpy as np
import matplotlib.pyplot as plt      

def AlexNet_inference(in_shape):
    model = keras.Sequential(name='AlexNet')  
 
    # model.add(layers.Conv2D(96,(11,11),strides=(4,4),input_shape=(in_shape[1],in_shape[2],in_shape[3]),
                # padding='same',activation='relu',kernel_initializer='uniform')) 
                
    model.add(layers.Conv2D(96,(11,11),strides=(2,2),input_shape=(in_shape[1],in_shape[2],in_shape[3]),
                padding='same',activation='relu',kernel_initializer='uniform'))  
    model.add(layers.MaxPooling2D(pool_size=(3,3),strides=(2,2)))  
    model.add(layers.Conv2D(256,(5,5),strides=(1,1),padding='same',activation='relu',kernel_initializer='uniform'))  
    model.add(layers.MaxPooling2D(pool_size=(3,3),strides=(2,2)))  
    model.add(layers.Conv2D(384,(3,3),strides=(1,1),padding='same',activation='relu',kernel_initializer='uniform'))  
    model.add(layers.Conv2D(384,(3,3),strides=(1,1),padding='same',activation='relu',kernel_initializer='uniform'))  
    model.add(layers.Conv2D(256,(3,3),strides=(1,1),padding='same',activation='relu',kernel_initializer='uniform'))  
    model.add(layers.MaxPooling2D(pool_size=(2,2),strides=(2,2)))  
    model.add(layers.Flatten())  
    model.add(layers.Dense(2048,activation='relu'))  
    model.add(layers.Dropout(0.5))  
    model.add(layers.Dense(2048,activation='relu'))  
    model.add(layers.Dropout(0.5))  
    model.add(layers.Dense(10,activation='softmax'))  
    model.compile(optimizer=keras.optimizers.Adam(),
                loss='sparse_categorical_crossentropy', #不能直接用函數，否則在與測試加載模型不成功！
                metrics=['accuracy'])
    model.summary()  
    return model


mnist = tf.keras.datasets.mnist
MODEL_DIR = "models/"

(x_train, y_train), (x_test, y_test) = mnist.load_data()
# train_images, test_images = train_images / 255.0, test_images / 255.0

x_train = x_train.reshape((-1,28,28,1))
x_test = x_test.reshape((-1,28,28,1))
print(x_train.shape[1], x_train.shape[2], x_train.shape[3])
x_shape  = x_train.shape
 
AlexNet_model = AlexNet_inference(x_shape)
totall_epochs = 0
epochs = 10

while(True):
    history = AlexNet_model.fit(x_train, y_train, batch_size=64, epochs=epochs, validation_split=0.1)

    plt.plot(history.history['accuracy'])
    plt.plot(history.history['val_accuracy'])
    plt.legend(['training', 'valivation'], loc='upper left')
    plt.show()

    res = AlexNet_model.evaluate(x_test, y_test)
    print(res)
    
    totall_epochs += epochs
    model_save_dir = MODEL_DIR+'AlexNet_model_'+str(totall_epochs)+'.h5'
    AlexNet_model.save( model_save_dir )

    keyVal = input('please enter your command!(0:quite, 1>:continue!)')
    keyVal = int(keyVal)
    if 0==keyVal:
        break
    elif 0<=keyVal and 10>=keyVal:
        epochs = keyVal