深度殘差網絡（deep residual network, ResNet）是一種非常熱門的深度學習方法，到目前為止，在谷歌學術上的引用量達到了35772次。
深度殘差收縮網絡（deep residual shrinkage network）是ResNet的一種改進，實際上是ResNet、注意力機制和軟門檻值化的深度內建，在深度神經網絡的内部消除不重要的（或者與噪聲相關的）特征，加強深度神經網絡從強噪信号中提取有用特征的能力。以下根據自己的了解，進行一些解釋。
1. 動機
首先，在很多機器學習的任務中，樣本中經常會包含一些噪聲，比如高斯噪聲、pink噪聲、Laplacian噪聲等。更廣義地講，樣本中經常包含着與目前機器學習任務不相關的資訊。
舉例來說，在許多情況下，要進行分類的圖檔，除了含有與标簽所對應的目标物體，還包含着一些與标簽無關的物體。這些與标簽無關的物體，就可以了解為一種噪聲。這些無關物體所對應的特征，就是需要被删除的，進而避免對目前的任務造成影響。或者說，在馬路邊聊天的時候，聊天的聲音裡就可能會混雜車輛的鳴笛聲、車輪聲等等。當對這些含噪的聲音信号進行語音識别的時候，識别效果不可避免地會受到鳴笛聲、車輪聲的影響。這些鳴笛聲、車輪聲所對應的特征，就應該在深度神經網絡内部被删除掉，以避免對語音識别的效果造成影響。
然後，在同一個樣本集中，每個樣本所含的噪聲量通常是不一樣的。
例如，當訓練貓狗分類器的時候，對于标簽為“狗”的5張圖像，第1張圖像可能同時包含着狗和老鼠，第2張圖像可能同時包含着狗和鵝，第3張圖像可能同時包含着狗和雞，第4張圖像可能同時包含着狗和驢，第5張圖像可能同時包含着狗和鴨子。我們在訓練貓狗分類器的時候，就不可避免地會受到老鼠、鵝、雞、驢和鴨子等無關物體的幹擾，造成分類準确率下降。如果我們能夠注意到這些無關的老鼠、鵝、雞、驢和鴨子，将它們所對應的特征删除掉，就有可能提高貓狗分類器的準确率。
2. 軟門檻值化
軟門檻值化，從數學上來講，就是将絕對值小于某個門檻值的特征置為零，将絕對值大于這個門檻值的特征朝着零的方向進行收縮。它具體的公式為
軟門檻值化的輸出對于輸入的導數為
從以上公式可知，軟門檻值化的導數要麼是1，要麼是0。這個性質是和ReLU激活函數是相同的。是以，軟門檻值化也能夠減小深度學習算法遭遇梯度彌散和梯度爆炸的風險。
在軟門檻值化函數中，門檻值的設定必須符合兩個的條件：第一，門檻值是正數；第二，門檻值不能大于輸入信号的最大值，否則輸出會全部為零。
同時，門檻值最好還能符合第三個條件：每個樣本有着自己獨特的門檻值。
這是因為，很多樣本的含噪程度經常是不同的。例如，樣本A含噪較少，樣本B含噪較多。那麼，如果是在降噪算法裡面，樣本A就應該采用大一點的門檻值，樣本B就應該采用小一點的門檻值。在深度神經網絡中，雖然這些特征和門檻值沒有明确的實體意義、，但是道理還是相通的，也就是說每個樣本應該有自己獨特的門檻值。
3. 注意力機制
注意力機制在圖像處理領域是很容易了解的。比如說，我們人可以快速掃描視覺全局區域，發現感興趣的目标物體，進而把大部分的注意力集中在感興趣的物體上，以提取更多的細節，同時抑制無關物體的資訊。
Squeeze-and-Excitation Network（SENet）是一種較新的注意力機制下的深度學習方法。 在不同的樣本中，不同的特征通道，在分類任務中的貢獻大小，往往是不同的。SENet采用一個小型的子網絡，獲得一組權重，進而将這組權重與各個通道的特征分别相乘，以調整各個通道特征的大小。這個過程，就可以認為是在施加不同大小的注意力在各個特征通道上。
在這裡，每一個樣本，都有着自己獨立的一組權重。任意的兩個樣本，它們的權重，都不一樣。在SENet中，獲得權重的具體路徑是，“全局池化→全連接配接層→ReLU函數→全連接配接層→Sigmoid函數”。
深度殘差收縮網絡就借鑒了這個子網絡，來自動設定軟門檻值化的門檻值。
通過紅色框内的子網絡，可以獲得一組門檻值。這組門檻值可以被應用在各個特征通道上。
在這個子網絡中，首先對輸入特征圖的所有特征，求它們的絕對值。然後經過全局均值池化和平均，獲得一個特征，記為A。在另一條路徑中，全局均值池化之後的特征圖，被輸入到一個小型的全連接配接網絡。這個全連接配接網絡以Sigmoid函數作為最後一層，将輸出歸一化到0和1之間，獲得一個系數，記為α。最終的門檻值可以表示為α×A。是以，門檻值就是，一個0和1之間的數字×特征圖的絕對值的平均。通過這種方式，保證了門檻值為正，而且不會太大。
值得指出的是，通過這種方式，不同的樣本就有了不同的門檻值。在某種程度上，可以了解成一種特殊的注意力機制：注意到與目前任務無關的特征，将它們置為零；或者說，注意到與目前任務有關的特征，将它們保留下來。
4. 通用性
深度殘差收縮網絡事實上是一種通用的資料分類方法。也就是說，深度殘差收縮網絡不僅可以用于基于振動信号的機械故障診斷，而且可以用于很多其他的分類任務，比如圖像和語音。在圖像分類時，如果圖檔中還存在着很多其他的物體，那麼這些物體就可以被了解成“噪聲”；深度殘差收縮網絡或許能夠借助注意力機制注意到這些“噪聲”，然後借助軟門檻值化将這些“噪聲”所對應的特征置為零，進而提高圖像分類的準确率。在語音識别時，如果是在環境比較嘈雜的環境裡，比如在馬路邊聊天的時候，深度殘差收縮網絡也許可以提高語音識别效果，或者給出了一種提高語音識别效果的思路。
轉載網址
【深度殘差收縮網絡】深度殘差網絡、注意力機制和軟門檻值化的深度內建
https://www.yanxishe.com/blogDetail/17056深度殘差收縮網絡：（四）注意力機制下的門檻值設定
https://www.cnblogs.com/yc-9527/p/11604082.html原文網址
M. Zhao, S. Zhong, X. Fu, et al., Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, DOI: 10.1109/TII.2019.2943898
https://ieeexplore.ieee.org/document/8850096