吳恩達 coursera AI 第三課總結+作業答案

前言

吳恩達的課程堪稱經典，有必要總結一下。

學以緻用，以學促用，通過筆記總結，鞏固學習成果，複習新學的概念。

目錄

文章目錄

• 前言
• 目錄
• 正文

正文

本周主要講述單隐層神經網絡的相關特性。

下面的公式是單隐層神經網絡整個的計算流程。

圖是一個兩層神經網絡的結構圖和計算流程。

神經網絡表示學習

神經元激活資訊流圖。

神經網絡符号表示。

神經網絡表示學習

神經網絡表示方法。

神經網絡表示方法

神經網絡計算流程

神經網絡表示方法

多樣本向量化計算。

計算流程

向量化實作的驗證

對資料進行重整。

激活函數

不同激活函數的優缺點。

sigmoid激活函數。

Tanh激活函數。

受限線性單元和調節線性單元的圖像。

神經網絡的梯度下降。

計算梯度的公式。

計算梯度示意圖。

梯度傳遞公式

梯度傳遞總結

梯度傳遞形式。

全零初始化的問題。

全零初始化使得網絡停滞。

随機初始化，網絡持續進化。