貢獻：
提出了一種新的正則化方法，減少過拟合的發生，同時讓神經網絡具有更好的魯棒性。
這種方法在圖像和feature map 内部進行局部的permutation （置換），沒改變整體的特征資訊，又添加了新的變化（variance），用于訓練中，提高了模型的魯棒性，防止過拟合的發生
過拟合
過拟合的定義：訓練的模型适應了噪聲資訊，而不是去捕捉資料中隐藏的變量資訊。
過拟合出現原因：
1.參數過少，不足以包含足夠的資訊，導緻會被無關的局部資訊誤導。
2.資料過少，訓練的模型魯棒性太差。
即使輸入的圖檔的局部有一些變化，但是并沒有破壞圖檔的整體性情況下，模型應該還可以正常工作。比如圖檔的馬賽克，雖然打碼，但是人們依然可以透過模糊，猜出圖檔正确分類。
Patch Shuffle 的優點：
- 僅消耗極少的記憶體和時間。不改變學習政策的情況下， 可以應用于各種神經網絡當中。
- 現有正則化方法的一個補充。在四種代表性的分類資料中，與其他正則化方法結合使用，PatchShuffle進一步提升了分類的精度。
- 提升了CNNs對噪聲的魯棒性。
注意：椒鹽噪聲是指兩種噪聲，一種是鹽噪聲（salt noise）鹽 = 白色(255)，另一種是胡椒噪聲（pepper noise）椒 = 黑色(0)。前者是高灰階噪聲，後者屬于低灰階噪聲。一般兩種噪聲同時出現，呈現在圖像上就是黑白雜點。
PatchShuffle Refularization
表示原圖像，
（）表示PatchShuffle Transformation操作
表示伯努利分布（Bernoulli），即機率p，r=1；機率（1-p）,r=0;
将圖像分割成沒有重疊的資料塊，大小
公式三，表示具體的permutation操作，
改變
的行，同理，最後邊的
改變列。
注意：每一個patch将會被置換
次。想象成
個空格插入
個蘋果，你就明白了~
除了将ParchShuffle應用于圖像，我們還可以将其應用于feature map。
在整個feature map随機抽選一個feature map PS（patch shuffle）處理。對于中低層的特征，其空間結構大部分保留，PS用在這些層上來正則化training。而對于高層卷積層，PS可以讓臨近的像素（pixel）共享權重（weight sharing）。
訓練和推理
的數值大小控制着Patch Shuffle所占的比重大小
損失函數的期望：
在feature map 無論怎麼變，最後都是要再一次回到原來的feature map，這種consistency一直存在。
一個具體的例子