今天下午從兩點一直開會到6點……emmmmmm，腦子都快當機啦。趕緊趁還有一些記憶的時候記錄一下，雖然記錄的内容很簡單，但是也還是有用的吧。
先祭出一張zxx師兄總結的10篇NAS方向的論文，碼住待看。
Multinomial Distribution Learning for Effective Nueral Architecture Search
論文要點：将搜尋空間看作一個聯合多項式分布，進而提出一種多項式分布學習方法來提高NAS的效率。(They propose a Multinomial Distribution Learning for extremely effective NAS, which considers the search space as a joint multinomial distribution)
經驗假設：訓練神經網絡時，若前期的神經網絡表現較好，則該神經網絡在後期的表現也會很好。如下圖：
算法步驟：如下圖：
1) 根據機率分布選擇一個operation。
2) 通過前向和反向傳播訓練目前的網絡。
3) 測試并記錄目前網絡在驗證集上的表現。
4)根據提出的分布學習算法更新得到的分布參數。
思路創新：差別于傳統的DARTS方法(我的了解就是relation啦，也是需要維護一套參數，不過要将每個參數和operation對應起來，一起參與計算)，不用對每一個operation都進行一次計算。通過維護這個機率分布，每次前向和反向傳播的時候，隻要選擇一個operation參與計算，然後根據一定的機率對其他的operation進行采樣，如果随機采樣獲得的op表現比之前的更好，則更新目前的機率分布。這樣可以大大減少需要的計算量。
NAT: Neural Architecture Transformer for Accurate and Compact Architectures
論文要點：該論文認為，即便是一個訓練好的網絡結構中也有備援的子產品(卷積或池化)，這些備援的子產品不僅占用記憶體和計算資源，而且也拉低了模型的表現性能。是以，該論文采用增強學習的方法，将該優化問題映射成一個馬爾可夫決策過程，通過學習一個Neural Architecture Transformer，将備援的操作替換成更高效的skip或zero操作。
算法步驟：1) 訓練一個大網絡。 2) 在該大網絡中選擇一個operation，嘗試優化。
思路創新：其他的都沒怎麼聽懂。抓住的一個點就是，如下圖一樣。将一個operation(O)轉化成skip(S)或者none(N)操作。貌似論文實際操作的過程中會先加一些操作啥啥的……看實驗結果感覺可借鑒性不強，就記個下面的圖就好。
Network Pruning via Transformable Architecture Search
論文要點：在不降低網絡表現性能的情況下，不限制channel和layer大小(傳統的方法都是有限制的)，使用NAS來給網絡進行剪枝。
算法步驟：
1) 訓練未剪枝的大網絡。
2) 通過論文中提出的TAS來搜尋the depth and width of a small netwrok。
3) 用KD方法，将大網絡中的知識轉移至搜尋得到的小網絡中。
思路創新：
a) KD方法的使用。
b) 采用**Gumbel-Softmax**代替論文中不可導的簡單softmax操作(?知識盲區，需要補齊)。
c) 不同情況下不同loss函數的設計。 在第2)步時，采用了增加的loss;在第3)步，用專用的KD loss。
Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
論文要點：可微分的搜尋方法可以大幅降低NAS的計算消耗。然而，這些方法應用在評估結果或者transfer到其他資料集時，準确度總是很低。這是因為在搜尋和評估場景下的結構深度存在large gap(？？？又是我的知識盲區，這句話在說啥？？？)。是以，作者提出了一種鑒定式的搜尋過程，可以使搜尋的結構在訓練過程中逐漸加深。
算法步驟：
a) 去掉機率較小的operation。
b) 更新機率，疊加層，至收斂。
c) 重複幾輪a)和b)階段。【DARTS是一步選出所有的operation】
思路創新：大概就是，把原來一步就得到的結果變成幾個階段了？放慢了去掉operation的速度，來使模型訓練的更準确？？？？？
One-Shot Neural Architecture Search via Self-Evaluated Template Network
算法步驟：
a) 選擇一個大網絡作模闆。
b) 在大網絡中采樣得一個小網絡(即子網絡)。
c) 設計一個評估器，評估生成的子網絡，pass掉評估結果差的網絡，提高效率。
思路要點：所有子網絡共享參數。(???)
Auto-FPN: Automatic Network Architecture Adaptation for Object Detection Beyond Classification
思路要點：考慮searching a better fusion。
DetNAS: Backbone Search for Object Detection
算法步驟：
a) 在ImageNet資料集上預訓練the one-shot supernet。
b) 在detection資料集上采用FPN結構，精調supernet。
c) 使用EA算法，在訓練得到的supernet上進行結構搜尋。【supernet本身非常複雜】
思路要點：考慮搜尋Backbone。
Efficient Neural Architecture Transformation Search in Channel-Level for Object Detection
思路要點：采用了channel-level的operation，差別于path-level，channel-level的operation是針對圖像某一區域的某一通道進行操作，同一區域不同channel可以有不同的filter操作，而path-level則對于同一區域所有channel都進行相同的操作。
AutoGAN: Neural Architecture Search for Generative Adversarial Networks
思路要點：該論文第一次嘗試用NAS生成GAN。