《神經網絡與深度學習應用實戰》結合實際應用介紹神經網絡和深度學習等技術領域相關資訊。從結構上重點介紹了前饋型神經網絡、回報型神經網絡，以及自組織競争型神經網絡，并針對當下深度學習中比較重要的網絡進行了詳細介紹，包括卷積神經網絡、循環（遞歸）神經網絡、深度信念網絡、生成對抗網絡，以及深度強化學習。《神經網絡與深度學習應用實戰》不僅能讓讀者對目前神經網絡和深度學習技術有體系的認知，更能讓讀者在人工智能領域進行一些深入思考。
目錄
基礎篇
第1章 時代崛起 2
1.1 概要 2
1.1.1 基本概念 2
1.1.2 深度學習與機器學習的關系 4
1.1.3 深度學習與人工智能的關系 5
1.2 曆史發展 5
1.2.1 神經網絡發展曆史 5
1.2.2 人工智能發展曆史 7
1.3 應用領域 8
1.3.1 智能個人助理 8
1.3.2 智能安防 9
1.3.3 無人駕駛 9
1.3.4 電商零售 11
1.3.5 智慧醫療 11
1.3.6 金融服務 12
1.3.7 智能教育 13
1.4 未來猜想 14
1.4.1 人文的快速發展 14
1.4.2 人類也是“機器人” 14
1.4.3 新的不平等現象 15
1.5 本章小結 16
第2章 數學理論基礎 17
2.1 向量 17
2.1.1 相關概念 17
2.1.2 向量的線性相關性 18
2.1.3 向量的外積 18
2.1.4 向量夾角與餘弦相似性 18
2.1.5 執行個體：基于向量夾角的文本相似性分析 19
2.2 矩陣 20
2.2.1 矩陣乘法 20
2.2.2 克羅内克積 21
2.3 導數 22
2.3.1 概述 22
2.3.2 一般運算法則 22
2.3.3 鍊式求導法則 23
2.4 數值計算 23
2.4.1 誤差 23
2.4.2 距離 24
2.4.3 數值歸一化 26
2.5 機率分布 26
2.5.1 二項分布 26
2.5.2 超幾何分布 27
2.5.3 泊松分布 27
2.5.4 指數分布 28
2.5.5 正态分布 29
2.6 參數估計 29
2.6.1 機率 29
2.6.2 貝葉斯估計 30
2.6.3 最大似然估計 31
2.6.4 最大後驗估計 32
2.7 回歸分析 33
2.7.1 線性回歸 33
2.7.2 邏輯回歸 36
2.8 判定問題 39
2.8.1 P問題 39
2.8.2 NP問題 39
2.8.3 NP-Complete問題 40
2.8.4 NP-Hard問題 40
2.9 本章小結 41
第3章 機器學習概要 42
3.1 機器學習的類型 42
3.1.1 有監督學習 42
3.1.2 無監督學習 43
3.1.3 強化學習 43
3.2 機器學習中常見的函數 44
3.2.1 激活函數 44
3.2.2 損失函數 47
3.2.3 核函數 48
3.3 機器學習中的重要參數 49
3.3.1 學習速率 49
3.3.2 動量系數 50
3.3.3 偏置項 50
3.4 拟合問題 51
3.4.1 過拟合現象 51
3.4.2 欠拟合現象 52
3.4.3 解決過拟合問題的一般方法 52
3.4.4 執行個體：拟合與二進制一次方程求解 55
3.5 交叉檢驗 55
3.5.1 資料類型種類 55
3.5.2 留一交叉驗證 57
3.5.3 K折交叉驗證 57
3.6 線性可分與不可分 58
3.7 機器學習的學習特征 59
3.8 産生式模型與判别式模型 60
3.9 機器學習效果的一般評價名額 61
3.10 本章小結 63
第4章 神經網絡基礎 64
4.1 概述 64
4.1.1 神經網絡模型 64
4.1.2 經典的神經網絡結構 65
4.1.3 一般業務場景中神經網絡适應性 66
4.1.4 神經網絡的深度 67
4.2 常見學習方法 67
4.2.1 誤差修正學習 67
4.2.2 赫布學習規則 68
4.2.3 最小均方規則 69
4.2.4 競争學習規則 70
4.2.5 其他學習規則 71
4.3 優化方法：梯度下降 72
4.3.1 概述 72
4.3.2 梯度下降法 72
4.3.3 梯度下降的優化算法 74
4.3.4 梯度消失問題 76
4.3.5 示例：利用梯度下降法求函數極值 77
4.4 常見的神經網絡類型 78
4.4.1 前饋型神經網絡 78
4.4.2 回報型神經網絡 79
4.4.3 自組織競争型神經網絡 79
4.5 深度學習中常見的網絡類型 80
4.5.1 卷積神經網絡 80
4.5.2 循環神經網絡 80
4.5.3 深度信念網絡 80
4.5.4 生成對抗網絡 81
4.5.5 深度強化學習 81
4.6 其他神經網絡與深度學習 82
4.6.1 随機神經網絡 82
4.6.2 量子神經網絡 82
4.6.3 遷移學習 82
4.7 深度學習與多層神經網絡的關系 83
4.8 調參技巧 84
4.9 本章小結 85
進階篇
第5章 前饋型神經網絡 88
5.1 概述 88
5.2 常見結構 88
5.3 單層感覺器網絡 89
5.3.1 原理 89
5.3.2 網絡結構 90
5.3.3 執行個體一：基于單層感覺器“與”運算 90
5.3.4 執行個體二：利用感覺器判定零件是否合格 91
5.4 BP神經網絡 93
5.4.1 概述 93
5.4.2 反向傳播算法 93
5.4.3 異或問題的解決 96
5.4.4 避免病态結果 98
5.4.5 執行個體：基于多層感覺器的手寫體數字識别 99
5.5 徑向基函數神經網絡 101
5.5.1 原理介紹 101
5.5.2 中心選擇方法 102
5.5.3 訓練過程 103
5.5.4 徑向基函數神經網絡與BP神經網絡的差異 104
5.6 本章小結 105
第6章 回報型神經網絡 107
6.1 概述 107
6.1.1 基本原理 107
6.1.2 與前饋型神經網絡的差異 108
6.2 Hopfield神經網絡 109
6.3 Elman神經網絡 112
6.3.1 結構組成 112
6.3.2 學習算法 112
6.4 遞歸神經網絡 113
6.4.1 産生背景 114
6.4.2 基本結構 115
6.4.3 前向計算過程 116
6.4.4 反向傳播：BPTS算法 117
6.4.5 應用場景 118
6.4.6 遞歸神經網絡的結構改進 118
6.4.7 應用執行個體 121
6.5 本章小結 124
第7章 自組織競争型神經網絡 125
7.1 概述 125
7.1.1 一般網絡模型 125
7.1.2 工作原理 126
7.1.3 執行個體：用競争學習規則進行模式分類 127
7.2 常見的聚類方法 129
7.2.1 系統聚類法 129
7.2.2 基于劃分的聚類算法 130
7.2.3 基于密度的聚類算法 131
7.2.4 基于層次的聚類算法 132
7.3 自組織映射網絡 134
7.3.1 概述 134
7.3.2 訓練算法 134
7.3.3 執行個體：利用自組織映射網絡劃分城市群 135
7.3.4 優劣勢分析 136
7.4 其他自組織競争型神經網絡 137
7.4.1 自适應共振理論 137
7.4.2 對偶傳播神經網絡 138
7.5 本章小結 139
高階篇
第8章 卷積神經網絡 142
8.1 概述 142
8.1.1 發展背景 142
8.1.2 基本概念 143
8.1.3 基本網絡結構 144
8.2 卷積 145
8.2.1 卷積的實體意義 145
8.2.2 卷積的了解 145
8.2.3 卷積的執行個體 147
8.3 卷積核 148
8.3.1 卷積核的含義 148
8.3.2 卷積操作 150
8.3.3 卷積核的特征 150
8.4 卷積神經網絡中各層工作原理 151
8.4.1 卷積層 151
8.4.2 下采樣層 151
8.4.3 Softmax層 152
8.5 卷積神經網絡的逆向過程 153
8.6 常見卷積神經網絡結構 154
8.6.1 LeNet-5 154
8.6.2 AlexNet 155
8.7 應用場景與效果評估 157
8.7.1 場景1：圖像分類 157
8.7.2 場景2：目标檢測 158
8.7.3 場景3：執行個體分割 159
8.8 Maxout Networks 160
8.9 本章小結 162
第9章 循環神經網絡 163
9.1 概述 163
9.2 一般循環神經網絡 164
9.2.1 概述 164
9.2.2 單向循環神經網絡 165
9.2.3 雙向循環神經網絡 166
9.2.4 深度循環神經網絡 167
9.3 訓練算法：BPTT算法 168
9.3.1 前向計算 168
9.3.2 誤差項計算 169
9.3.3 權值梯度計算 169
9.3.4 梯度爆炸與梯度消失問題 170
9.4 長短時記憶網絡 170
9.4.1 背景 170
9.4.2 核心思想 171
9.4.3 詳細結構 172
9.4.4 訓練過程 176
9.4.5 相關變種簡介 181
9.5 常見循環神經網絡結構 182
9.5.1 N比N結構 182
9.5.2 N比1結構 183
9.5.3 1比N結構 183
9.5.4 N比M結構 184
9.6 與自然語言處理結合 185
9.7 執行個體：文本自動生成 186
9.8 本章小結 187
第10章 深度信念網絡 188
10.1 概要 188
10.1.1 背景 188
10.1.2 基本結構 188
10.2 受限玻爾茲曼機 190
10.2.1 概述 190
10.2.2 邏輯結構 192
10.2.3 對比分歧算法 194
10.3 訓練過程 194
10.3.1 工作流程 194
10.3.2 調優過程 195
10.4 本章小結 196
第11章 生成對抗網絡 197
11.1 概述 197
11.1.1 背景概要 197
11.1.2 核心思想 198
11.1.3 基本工作流程 199
11.2 樸素生成對抗網絡 201
11.2.1 網絡結構 201
11.2.2 執行個體：基于樸素生成對抗網絡生成手寫體數字 203
11.3 深度卷積生成對抗網絡 206
11.3.1 産生背景 206
11.3.2 模型改進 206
11.3.3 網絡結構 207
11.3.4 執行個體：基于深度卷積對抗網絡生成手寫體數字 208
11.4 條件生成對抗網絡 212
11.4.1 網絡結構 212
11.4.2 執行個體：CGAN結合DCGAN生成手寫體數字 213
11.5 瓦瑟斯坦生成對抗網絡 214
11.5.1 概述 214
11.5.2 差異化 215
11.5.3 執行個體：WGAN結合DCGAN生成手寫體數字 216
11.6 生成對抗網絡的探索 217
11.6.1 價值與意義 217
11.6.2 面臨的問題 218
11.6.3 應用場景示例 218
11.6.4 未來探索 220
11.7 本章小結 220
第12章 深度強化學習 221
12.1 概述 221
12.1.1 概要 221
12.1.2 基本原理 222
12.2 馬爾科夫決策過程 223
12.2.1 馬爾科夫過程 223
12.2.2 隐馬爾科夫模型 224
12.2.3 馬爾科夫決策過程 225
12.3 深度強化學習算法 229
12.3.1 DQN算法 229
12.3.2 A3C算法 231
12.3.3 UNREAL算法 231
12.4 強化學習的探索 232
12.4.1 應用場景探索 232
12.4.2 面臨的問題 233
12.5 本章小結 234