一、配置環境

這裡我用指令行建立虛拟環境

輸入如下指令建立虛拟環境

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

如圖，輸入y

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料
如圖，說明安裝成功

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料
輸入指令進入 cat_dog 虛拟環境

activate
conda activate cat_dog

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

進入環境後，下載下傳所需包

pip install tensorflow -i https://pypi.douban.com/simple
pip install  keras -i https://pypi.douban.com/simple

二、準備資料集

資料集的下載下傳

kaggle網站的資料集下載下傳位址：https://www.kaggle.com/lizhensheng/-2000

或百度網盤下載下傳：https://pan.baidu.com/s/13hw4LK8ihR6-6-8mpjLKDA

提取碼：dmp4

1.将下載下傳的資料集解壓

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

2.進入jupyter notebook，輸入如下代碼對圖檔進行分類

import tensorflow as tf
import keras
import os, shutil 
# 原始目錄所在的路徑
original_dataset_dir = 'G:\\Cat_And_Dog\\kaggle\\train\\'

# 資料集分類後的目錄
base_dir = 'G:\\Cat_And_Dog\\kaggle\\cats_and_dogs_small'
os.mkdir(base_dir)

# # 訓練、驗證、測試資料集的目錄
train_dir = os.path.join(base_dir, 'train')
os.mkdir(train_dir)
validation_dir = os.path.join(base_dir, 'validation')
os.mkdir(validation_dir)
test_dir = os.path.join(base_dir, 'test')
os.mkdir(test_dir)

# 貓訓練圖檔所在目錄
train_cats_dir = os.path.join(train_dir, 'cats')
os.mkdir(train_cats_dir)

# 狗訓練圖檔所在目錄
train_dogs_dir = os.path.join(train_dir, 'dogs')
os.mkdir(train_dogs_dir)

# 貓驗證圖檔所在目錄
validation_cats_dir = os.path.join(validation_dir, 'cats')
os.mkdir(validation_cats_dir)

# 狗驗證資料集所在目錄
validation_dogs_dir = os.path.join(validation_dir, 'dogs')
os.mkdir(validation_dogs_dir)

# 貓測試資料集所在目錄
test_cats_dir = os.path.join(test_dir, 'cats')
os.mkdir(test_cats_dir)

# 狗測試資料集所在目錄
test_dogs_dir = os.path.join(test_dir, 'dogs')
os.mkdir(test_dogs_dir)

# 将前1000張貓圖像複制到train_cats_dir
fnames = ['cat.{}.jpg'.format(i) for i in range(1000)]
for fname in fnames:
    src = os.path.join(original_dataset_dir, fname)
    dst = os.path.join(train_cats_dir, fname)
    shutil.copyfile(src, dst)

# 将下500張貓圖像複制到validation_cats_dir
fnames = ['cat.{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
    src = os.path.join(original_dataset_dir, fname)
    dst = os.path.join(validation_cats_dir, fname)
    shutil.copyfile(src, dst)
    
# 将下500張貓圖像複制到test_cats_dir
fnames = ['cat.{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
    src = os.path.join(original_dataset_dir, fname)
    dst = os.path.join(test_cats_dir, fname)
    shutil.copyfile(src, dst)
    
# 将前1000張狗圖像複制到train_dogs_dir
fnames = ['dog.{}.jpg'.format(i) for i in range(1000)]
for fname in fnames:
    src = os.path.join(original_dataset_dir, fname)
    dst = os.path.join(train_dogs_dir, fname)
    shutil.copyfile(src, dst)
    
# 将下500張狗圖像複制到validation_dogs_dir
fnames = ['dog.{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
    src = os.path.join(original_dataset_dir, fname)
    dst = os.path.join(validation_dogs_dir, fname)
    shutil.copyfile(src, dst)
    
# 将下500張狗圖像複制到test_dogs_dir
fnames = ['dog.{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
    src = os.path.join(original_dataset_dir, fname)
    dst = os.path.join(test_dogs_dir, fname)
    shutil.copyfile(src, dst)

得到新的分類檔案夾

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

3.輸入如下代碼，統計圖檔數量

print('total training cat images:', len(os.listdir(train_cats_dir)))
print('total training dog images:', len(os.listdir(train_dogs_dir)))
print('total validation cat images:', len(os.listdir(validation_cats_dir)))
print('total validation dog images:', len(os.listdir(validation_dogs_dir)))
print('total test cat images:', len(os.listdir(test_cats_dir)))
print('total test dog images:', len(os.listdir(test_dogs_dir)))

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

三、基準模型

1.網絡模型建構

#網絡模型建構
from keras import layers
from keras import models
#keras的序貫模型
model = models.Sequential()
#卷積層，卷積核是3*3，激活函數relu
model.add(layers.Conv2D(32, (3, 3), activation='relu',
                        input_shape=(150, 150, 3)))
#最大池化層
model.add(layers.MaxPooling2D((2, 2)))
#卷積層，卷積核2*2，激活函數relu
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
#最大池化層
model.add(layers.MaxPooling2D((2, 2)))
#卷積層，卷積核是3*3，激活函數relu
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
#最大池化層
model.add(layers.MaxPooling2D((2, 2)))
#卷積層，卷積核是3*3，激活函數relu
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
#最大池化層
model.add(layers.MaxPooling2D((2, 2)))
#flatten層，用于将多元的輸入一維化，用于卷積層和全連接配接層的過渡
model.add(layers.Flatten())
#全連接配接，激活函數relu
model.add(layers.Dense(512, activation='relu'))
#全連接配接，激活函數sigmoid
model.add(layers.Dense(1, activation='sigmoid'))
#顯示
model.summary()

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

2.配置訓練方法

from keras import optimizers

model.compile(loss='binary_crossentropy',
              optimizer=optimizers.RMSprop(lr=1e-4),
              metrics=['acc'])

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

3.将檔案中圖像轉換成所需格式

from keras.preprocessing.image import ImageDataGenerator

# 所有圖像将按1/255重新縮放
train_datagen = ImageDataGenerator(rescale=1./255)
test_datagen = ImageDataGenerator(rescale=1./255)

train_generator = train_datagen.flow_from_directory(
        # 這是目标目錄
        train_dir,
        # 所有圖像将調整為150x150
        target_size=(150, 150),
        batch_size=20,
        # 因為我們使用二進制交叉熵損失，我們需要二進制标簽
        class_mode='binary')

validation_generator = test_datagen.flow_from_directory(
        validation_dir,
        target_size=(150, 150),
        batch_size=20,
        class_mode='binary')

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

檢視結果

#檢視上面對于圖檔預處理的處理結果
for data_batch, labels_batch in train_generator:
    print('data batch shape:', data_batch.shape)
    print('labels batch shape:', labels_batch.shape)
    break

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

4.訓練模型并儲存

#模型訓練過程
history = model.fit_generator(
      train_generator,
      steps_per_epoch=100,
      epochs=30,
      validation_data=validation_generator,
      validation_steps=50)
#儲存訓練得到的的模型
model.save('路徑')

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

5.檢視可視化結果

#對于模型進行評估，檢視預測的準确性
import matplotlib.pyplot as plt

acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']

epochs = range(len(acc))

plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.legend()

plt.figure()

plt.plot(epochs, loss, 'bo', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.legend()

plt.show()

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

四、基準模型調整

1.圖形增強

from keras.preprocessing.image import ImageDataGenerator
datagen = ImageDataGenerator(
      rotation_range=40,
      width_shift_range=0.2,
      height_shift_range=0.2,
      shear_range=0.2,
      zoom_range=0.2,
      horizontal_flip=True,
      fill_mode='nearest')

2.網絡模型增加一層dropout

#網絡模型建構
from keras import layers
from keras import models
#keras的序貫模型
model = models.Sequential()
#卷積層，卷積核是3*3，激活函數relu
model.add(layers.Conv2D(32, (3, 3), activation='relu',
                        input_shape=(150, 150, 3)))
#最大池化層
model.add(layers.MaxPooling2D((2, 2)))
#卷積層，卷積核2*2，激活函數relu
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
#最大池化層
model.add(layers.MaxPooling2D((2, 2)))
#卷積層，卷積核是3*3，激活函數relu
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
#最大池化層
model.add(layers.MaxPooling2D((2, 2)))
#卷積層，卷積核是3*3，激活函數relu
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
#最大池化層
model.add(layers.MaxPooling2D((2, 2)))
#flatten層，用于将多元的輸入一維化，用于卷積層和全連接配接層的過渡
model.add(layers.Flatten())
#退出層
model.add(layers.Dropout(0.5))
#全連接配接，激活函數relu
model.add(layers.Dense(512, activation='relu'))
#全連接配接，激活函數sigmoid
model.add(layers.Dense(1, activation='sigmoid'))
#輸出模型各層的參數狀況
model.summary()
from keras import optimizers

model.compile(loss='binary_crossentropy',
              optimizer=optimizers.RMSprop(lr=1e-4),
              metrics=['acc'])

3.訓練模型

train_datagen = ImageDataGenerator(
    rescale=1./255,
    rotation_range=40,
    width_shift_range=0.2,
    height_shift_range=0.2,
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True,)
# Note that the validation data should not be augmented!
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(
        # This is the target directory
        train_dir,
        # All images will be resized to 150x150
        target_size=(150, 150),
        batch_size=32,
        # Since we use binary_crossentropy loss, we need binary labels
        class_mode='binary')
validation_generator = test_datagen.flow_from_directory(
        validation_dir,
        target_size=(150, 150),
        batch_size=32,
        class_mode='binary')
history = model.fit_generator(
      train_generator,
      steps_per_epoch=100,
      epochs=100,
      validation_data=validation_generator,
      validation_steps=50)
model.save('路徑')

4.結果可視化

acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs = range(len(acc))
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.legend()
plt.figure()
plt.plot(epochs, loss, 'bo', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.legend()
plt.show()

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

在模型結構中加入一層Dropout後，調整并重新訓練改為100個epoch。重新訓練後的結果如圖所示。可以看出，準确率由基準的67%提高到82%。

五、使用VGG19實作貓狗分類

1.初始化VGG19網絡執行個體

from keras.applications import VGG19
conv_base = VGG19(weights = 'imagenet',include_top = False,input_shape=(150, 150, 3))
conv_base.summary()

2.将貓狗資料集傳遞給神經網絡

import os 
import numpy as np
from keras.preprocessing.image import ImageDataGenerator
# 資料集分類後的目錄
base_dir = '路徑'
train_dir = os.path.join(base_dir, 'train')
validation_dir = os.path.join(base_dir, 'validation')
test_dir = os.path.join(base_dir, 'test')
datagen = ImageDataGenerator(rescale = 1. / 255)
batch_size = 20
def extract_features(directory, sample_count):
    features = np.zeros(shape = (sample_count, 4, 4, 512))
    labels = np.zeros(shape = (sample_count))
    generator = datagen.flow_from_directory(directory, target_size = (150, 150), 
                                            batch_size = batch_size,
                                            class_mode = 'binary')
    i = 0
    for inputs_batch, labels_batch in generator:
        #把圖檔輸入VGG16卷積層，讓它把圖檔資訊抽取出來
        features_batch = conv_base.predict(inputs_batch)
        #feature_batch 是 4*4*512結構
        features[i * batch_size : (i + 1)*batch_size] = features_batch
        labels[i * batch_size : (i+1)*batch_size] = labels_batch
        i += 1
        if i * batch_size >= sample_count :
            #for in 在generator上的循環是無止境的，是以我們必須主動break掉
            break
        return features , labels
#extract_features 傳回資料格式為(samples, 4, 4, 512)
train_features, train_labels = extract_features(train_dir, 2000)
validation_features, validation_labels = extract_features(validation_dir, 1000)
test_features, test_labels = extract_features(test_dir, 1000)

3.将抽取的特征進行分類訓練

from keras import models
from keras import layers
from keras import optimizers
#構造我們自己的網絡層對輸出資料進行分類
model = models.Sequential()
model.add(layers.Dense(256, activation='relu', input_dim = 4 * 4 * 512))
model.add(layers.Dropout(0.5))
model.add(layers.Dense(1, activation = 'sigmoid'))
model.compile(optimizer=optimizers.RMSprop(lr = 2e-5), loss = 'binary_crossentropy', metrics = ['acc'])
history = model.fit(train_features, train_labels, epochs = 30, batch_size = 20, 
                    validation_data = (validation_features, validation_labels))

4.可視化訓練結果和校驗結果

import matplotlib.pyplot as plt
acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs = range(1, len(acc) + 1)
plt.plot(epochs, acc, 'bo', label = 'Train_acc')
plt.plot(epochs, val_acc, 'b', label = 'Validation acc')
plt.title('Trainning and validation accuracy')
plt.legend()
plt.figure()
plt.plot(epochs, loss, 'bo', label = 'Training loss')
plt.plot(epochs, val_loss, 'b', label = 'Validation loss')
plt.title('Training and validation loss')
plt.legend()
plt.show()

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

六、參考資料

1.基于Tensorflow和Keras實作卷積神經網絡CNN

2.從頭開始訓練CNN進行圖像分類的完整過程（貓狗大戰為例，使用Keras架構）

基于卷積神經網絡的貓狗識别一、配置環境二、準備資料集三、基準模型四、基準模型調整五、使用VGG19實作貓狗分類六、參考資料

目錄

一、配置環境

二、準備資料集

三、基準模型

四、基準模型調整

五、使用VGG19實作貓狗分類

六、參考資料

繼續閱讀

keras模型可視化pydot-ng 和 graphviz安裝問題(ubuntu)

可視化工具Graphviz的安裝以及配置Pycharm 可視化工具Graphviz的安裝與配置

爬取央視網節目單欄目資訊！

突破！雙一流大學，首篇Nature！

PALM病理性近視預測 2021-07-04飛槳正常賽：PALM病理性近視預測 6月第3名方案一、賽題介紹

鸢尾花分類

圖形處理單元(GPU)的演進

CogView: Mastering Text-to-Image Generation via Transformers翻譯摘要1.介紹2.方法3.Finetuning

利用tensorflow建構AlexNet模型，實作小數量級的貓狗分類（隻有train）

ImportError: libcublas.so.10.0: cannot open shared object file: No such file解決方法

ImportError: libcublas.so.9.0: cannot open shared object file: No such file or directory（完美解決）

一種解決思路： ImportError: libcublas.so.10.0: cannot open shared object file: No such file

深度學習之卷積01 卷積02 填充Padding03 步幅Stride04 卷積核的選擇05 多通道卷積參考

通俗了解查準率(precision)和查全率(recall)

人工智能如何有效地運用于自然語言處理

吳恩達 coursera ML 第七課總結+作業答案前言目錄正文模型表示作業答案