需要PPT加Q1271370903
一、深度學習引入
1.各學習方法之間的聯系
SL、 SSL和UL是傳統ML方法:DL提供了一個更強大的預測模型,可産生良好的預測結果;RL提供了更口快的學習機制,且更适應環境的變化;TL突破了任務的限制,将TL應用于RL中,能幫助RL更好地落實到實際問題。
2.概念
1.監督學習(Supervised learning，SL)向學習算法提供有标記的資料和所需的輸出，對每一次輸入，學習者均被提供了一個回應目标。根據标簽類型進行劃分，可将監督學習分為分類和回歸兩種問題。分類問題預測的是樣本類别(離散的），而回歸問題預測的是樣本對應的實數輸出（連續的）。常見的典型算法:決策樹、支援向量機(SVM)、樸素貝葉斯、K近鄰、随機森林等。
2.無監督學習(Unsupervised learning，UL)提供的資料都是未标記的，主要是通過建立一個模型，解釋輸入的資料，再應用于下一次輸入。UL主要适用于聚類、降維等問題,常見的代表算法:聚類算法(K均值、AP聚類和層次聚類等)和降維算法(主成分分析等)。
3.半監督學習(Semi-Supervised Learning.SSL)屬于UL和SL之間。
4.強化學習(Reinforcement learning，RL)的訓練和uL同樣都是使用未标記的訓練集，其核心是描述并解決智能體在與環境互動的過程中學習政策以最大化回報或實作特定目标的問題。SL或UL主要應用的是統計學，RL則更多地使用了随機過程、離散數學等方法算法:Q-學習算法、瞬時差分法、自适應啟發評價算法等。
5.遷移學習(Transfer Learning，TL)指的是根據任務間的相似性,将在輔助領域之前所學的知識用于相似卻不相同的目标領域中來進行學習,有效地提高新任務的學習效率。
6.深度學習(Deep learning，DL)的訓練樣本是有标簽的,試圖使用複雜結構或由多重非線性變換構成的多個處理層對資料進行高層抽象。檢測、圖像識别、語言處理和識别等方面取得了良好的成效1990年卷積神經網絡（Convolutional Neural Networks，CNN)開始被用于手寫識别。2006年深度置信網絡(DeepBelief Network. DBN)發表。
二、卷積神經網絡
1.簡介
卷積神經網絡是一類包含卷積計算且具有深度結構的前饋神經網絡(Feedforward Neural Networks)，是深度學習的代表算法之一。卷積神經網絡具有表征學習能力，能夠按其階層結構對輸入資訊進行平移不變分類,是以也被稱為“平移不變人工神經網絡”。
對卷積神經網絡的研究始于二十世紀80至90年代，時間延遲網絡和LeNet-5是最早出現的卷積神經網絡;在二十一世紀後，随着深度學習理論的提出和數值計算裝置的改進，卷積神經網絡得到了快速發展，并被應用于計算機視覺、自然語言處理等領域(圖像分類、圖像分割、圖像檢測、文本等)。
卷積神經網絡仿造生物的視知覺機制建構，可以進行監督學習和非監督學習，其隐含層内的卷積核參數共享和層間連接配接的稀疏性使得卷積神經網絡能夠以較小的計算量對格點化特征，例如像素和音頻進行學習、有穩定的效果且對資料沒有額外的特征工程要求。
卷積神經網絡的強大之處在于它的多層網絡結構能自動學習輸入資料的深層特征，不同層次的網絡可以學習到不同層次的特征。淺層網絡層感覺區域較小，可以學習到輸入資料的局部域特征(如圖像物體的顔色、幾何形狀等);深層網絡層具有較大的感覺域,能夠學習到輸入資料中更加抽象一些特征(如圖像物體的屬性、輪廓特點、位置資訊等高維性質)。深層次的抽象特征對圖像中物體的大小、位置和方向等敏感度較低，進而大大提高了物體的識别率，是以卷積神經網絡常用于圖像處理領域。
2.發展
深度學習的典型代表,卷積神經網絡(convolutional neural network, DCNN)在計算機視覺任務中大放異彩與人工提取特征的傳統圖像分類算法相比,卷積神經網絡使用卷積操作對輸入圖像進行特征提取,有效地從大量樣本中學習特征表達,模型泛化能力更強。
3.視覺角度
CNN網絡受人類視覺神經系統的啟發，人類的視覺原理:從原始信号攝入開始（瞳孔攝入像素Pixels)，接着做初步處理(大腦皮層某些細胞發現邊緣和方向)，然後抽象(大腦判定,眼前的物體的形狀，是圓形的)，然後進一步抽象(大腦進一步判定該物體是隻人臉)。下面是人腦進行人臉識别的一個示例:
4.結構
CNN網絡主要有三部分構成:卷積層、池化層和全連接配接層構成，其中卷積層負責提取圖像中的局部特征(激活函數、正則化等）;池化層用來大幅降低參數量級(降維);全連接配接層類似人工神經網絡的部分，用來輸出想要的結果。
4.卷積層
卷積層是卷積神經網絡中核心子產品,卷積層的目的是提取輸入特征圖的特征，如下圖提取圖像中的邊緣資訊。
6.卷積計算
7.填充
在上述卷積過程中，特征圖比原始圖減少了很多，我們可以在原圖像的周圍進行padding,來保證在卷積過程中特征圖大小不變
8.步長
9.多通道卷積
實際中的圖像都是多個通道組成的
10.多卷積核卷積
計算方法如下︰當輸入有多個通道(channel)時(例如圖檔可以有RGB三個通道)，卷積核需要擁有相同的channel數,每個卷積核channel與輸入層的對應channel進行卷積，将每個channe的卷積結果按位相加得到最終的Feature Map
11.特征大小
12.池化層
池化層迎來降低了後續網絡層的輸入次元，縮減模型大小，提高計算速度，并提高了Feature Map的魯棒性，防止過拟合。對卷積層學習到的特征進行下采樣處理
1.最大池化Map Pooling 取視窗内的最大值作為輸出，這種方式使用較廣泛
⒉**.平均池化**Axg. Pooling 取視窗内的所有值的均值作為輸出
13.全連接配接層
全連接配接層位于CNN網絡的末端，經過卷積層的特征提取與池化層的降維後，将特征圖轉換成一維向量送入到全連接配接層中進行分類或回歸的操作。
接下篇LeNet-5實作