神經網絡與機器學習 筆記—基本知識點（下）
0.1 網絡結構：
神經網絡中神經元的構造方式與用于訓練網絡的學習算法有着密切的聯系，有三種基本的網絡結構：
0.7 知識表示：
知識就是人或機器存儲起來以備使用的資訊或模型，用來對外部世界作出解釋、預測和适當的反應。
主要特征：
什麼資訊是明确表述的；實體上資訊是如何被編碼和使用的。
神經網絡的一個主要任務是學習他所依存的外部世界（環境）模型，并且保持該模型和真是世界足夠相容，使之能夠實作感興趣應用的特定目标。有關世界的知識由兩類資訊組成。
- 已知世界狀态，有“什麼是”事實和“什麼是已知道的”事實所表示；這種形式的知識稱為先驗知識。
- 對世界的觀察（測量），由神經網絡中被設計用于探測環境的傳感器獲得。一般來說，這些觀察是帶有噪聲的，這是由于傳感器的噪聲和系統的不完善而産生的誤差。不管怎樣，這樣得到的觀察會提供一個資訊池，從中提取樣例來訓練神經網絡。樣例分為兩種：有标号的和無标号的。有标号的就是對應的輸入有輸出結果，無标号的則沒有輸出結果。相比來說有标号的涉及到教師标注，成本高，數量少。無标号的則成本低，擷取較友善。這種資料在機器學習裡都叫做訓練資料集，或者簡稱訓練樣本。
神經網絡設計與傳統資訊處理對應部分（模式分類器）的設計有根本的差别。後者是設定方法、目标，驗證目标。而且這則是通過學習資料來找到能達到目标的方法。
知識表示的規則：
- 相似類别中的相似輸入通常應産生網絡中相似的表示，是以，可以歸入同一類中（向量内積或者歐幾裡得距離）。
- 網絡對可分離為不同種類的輸入向量給出差别很大的表示。
- 如果某個特征很重要，那麼網絡表示這個向量将涉及大量神經元。
- 如果存在先驗資訊和不變性，應該将其附加在網絡設計中，這樣就不必學習這些資訊而簡化網絡設計。
怎麼在神經網絡設計中加入先驗資訊：
1.通過使用稱為接收域的局部連接配接，限制網絡結構。
2.通過使用權值共享。限制突觸權值的選擇。[明顯降低自由參數]
CNN卷積神經網絡用的就是1和2，這個以後說。
0.8 學習過程
通過神經網絡的功能來進行如下分類：有教師學習和無教師學習。其中後者可以分為無監督學習和強化學習。後來又引申出來一個半監督學校。這些學習方式對訓練資料集的要求是不一樣的。
0.9 學習任務
模式聯想（自聯想、異聯想）、模式識别、函數逼近、控制。
0.10 整理