對于基于深度學習的分類算法，其關鍵不僅在于提取與标簽相關的目标資訊，剔除無關的資訊也是非常重要的，是以要在深度神經網絡中引入軟門檻值化。門檻值的自動設定，是深度殘差收縮網絡的核心貢獻。需要注意的是，軟門檻值化中的門檻值，需要滿足一定的條件。這篇文章中的門檻值設定，事實上，是在注意力機制下進行的。下面分别介紹門檻值需要滿足的條件、注意力機制以及具體的門檻值設定方法。
（1）門檻值需要滿足的條件
在軟門檻值化中，門檻值的取值有一定的要求：首先，門檻值必須是正數；其次，門檻值不能太大，否則輸出會全部為零。
更重要的是，每個樣本，應該有不同的門檻值。這是因為，許多樣本所含的噪聲量經常是不同的。
例如，樣本A所含噪聲較少，樣本B所含噪聲較多。那麼，在降噪算法裡面，樣本A的門檻值就應該大一點，樣本B的門檻值就應該小一些。在深度學習算法裡，由于這些特征沒有明确的實體意義，門檻值的大小也無法得到解釋。但是道理是相通的，即每個樣本應該有不同的門檻值。
（2）注意力機制
注意力機制可以從視覺的角度進行解釋。人類能夠通過快速掃描圖像，發現目标物體，進而将更多的注意力集中在目标物體上，以捕獲更多細節，同時抑制其他區域的無關資訊。
Squeeze-and-Excitation Network(SENet)是一種典型的帶有注意力機制的深度學習方法。對于不同的樣本，不同通道上的特征，在分類任務中的重要程度，經常是不同的。SENet可以學習一組權重，自動地調整不同通道的特征的大小。這個過程，就相當于施加不同的注意力在各個通道的特征上（見下圖）。
需要注意的是，每個樣本，都有自己獨特的一組權重。任意兩個樣本，它們的這些權重，都是不同的。在SENet中，具體的網絡結構如下圖所示。學習權重的路徑就是，全局池化→全連接配接層→ReLU→全連接配接層→Sigmoid。
（3）具體的門檻值設定方法
深度殘差收縮網絡采用了一個子網絡來自動地設定門檻值。這個子網絡的結構，就借鑒了上述的SENet。
首先來看“通道之間共享門檻值的深度殘差收縮網絡(Deep Residual Shrinkage Networks with Channel-shared Thresholds，簡稱DRSN-CS)”。我們可以看到，在紅色虛線框裡的子網絡，學習得到了一個門檻值，應用在特征圖的所有通道上。
在這個子網絡中，首先對輸入特征圖内的所有元素，取絕對值。然後經過全局均值池化(Global Average Pooling, GAP)和求平均(Average)，就得到了一個特征。為了友善描述，将這個特征記為A。在另一條路徑中，全局均值池化之後的特征，輸入到一個小型的全連接配接網絡之中。這個全連接配接網絡以一個Sigmoid激活函數作為最後一步，其目的在于将輸出調整到0和1之間，記為α。最終的門檻值就是α×A。這樣的話，門檻值就是，一個0和1之間的數字×特征圖的絕對值的平均值。通過這種方式，保證了門檻值不僅為正數，而且不會太大。
然後再看“逐通道不同門檻值的深度殘差收縮網絡(Deep Residual Shrinkage Networks with Channel-wise Thresholds，簡稱DRSN-CW)”。與上述的DRSN-CS相似，在紅色虛線框裡的子網絡，學習得到了一組門檻值。以相同的方式，確定了門檻值有着合适的取值範圍。
值得指出的是，通過這種方式，不同的樣本就有了不同的門檻值。在一定程度上，也可以了解為一種注意力機制：注意到不重要的特征，将它們剔除掉；或者說，注意到重要的特征，将它們保留下來。另外，雖然跨層的恒等路徑(Identity shortcut)将不重要的特征也傳遞到了高層特征中，但是通過很多殘差子產品的堆疊，這些不重要的特征所占的比重越來越低，最終實作不重要特征的消除。
轉載網址：
深度殘差收縮網絡：（一）背景知識
https://www.cnblogs.com/yc-9527/p/11598844.html深度殘差收縮網絡：（二）整體思路
https://www.cnblogs.com/yc-9527/p/11601322.html深度殘差收縮網絡：（三）網絡結構
https://www.cnblogs.com/yc-9527/p/11603320.html深度殘差收縮網絡：（四）注意力機制下的門檻值設定
https://www.cnblogs.com/yc-9527/p/11604082.html深度殘差收縮網絡：（五）實驗驗證
https://www.cnblogs.com/yc-9527/p/11610073.html深度殘差收縮網絡：（六）代碼實作
https://www.cnblogs.com/yc-9527/p/12091581.html論文網址：
M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898
https://ieeexplore.ieee.org/document/8850096