深度殘差收縮網絡，英文名為Deep Residual Shrinkage Network，是深度殘差網絡（Deep Residual Network, ResNet）的一種改進，發表在IEEE Transactions on Industrial Informatics上，面向的是資料含有噪聲的情況。
簡單地講，深度殘差收縮網絡就是，在注意力機制下，将軟門檻值化作為可訓練的子產品，嵌入到ResNet之中。接下來結合自己的了解，解讀一下相關的背景知識。
1.噪聲的含義
如上所述，深度殘差收縮網絡面向的是資料含有噪聲的情況。事實上，這裡的“噪聲”，可以有更寬泛的解釋。“噪聲”不僅可以指資料擷取過程中所摻雜的噪聲，而且可以指“與目前任務無關的資訊”。
比如說，我們在訓練一個貓狗分類器的時候，如果圖像中存在老鼠，那麼老鼠就可以了解為一種噪聲。
或者說，在故障診斷領域，對于一個複雜的機械系統，可能存在很多個激振源。許多個軸、軸承、齒輪和聯軸器等的旋轉或齧合都可能會激發振動。這些振動成分都混雜在所采集的振動信号中。如果我們的目的是檢測某一零件（比如某一個齒輪）是否發生故障，則其他零件所激發的振動，在一定程度上，都可以了解為噪聲。
從這個角度來講的話，深度殘差收縮網絡可能有着更寬廣的應用場景。
2.軟門檻值化（soft thresholding）
軟門檻值化是信号降噪裡非常常用的一個函數。它的功能是将一段信号的值，朝着“零”的方向進行收縮。比如，在下面的這張圖檔裡，橫軸x表示輸入，縱軸y表示輸出。那麼，相較于輸入信号，輸出信号就朝着“零”發生了收縮。
這種降噪方式有一個前提。那就是，接近于零的部分是噪聲，或者說，是不重要的，可以被剔除掉。然而，事實上，對于很多信号，接近于零的部分，可能包含着許多有用的資訊，不能直接被剔除掉。是以，現在通常不會直接對原始信号進行軟門檻值化處理。
針對上面這個問題，傳統的思路是将原始信号進行某種變換，将原始信号轉換成其他形式的表征。理想情況下，在這種轉換後的表征裡，接近于零的部分，是無用的噪聲。在這個時候，再采用軟門檻值化對轉換後的表征進行處理。最後，将軟門檻值化處理之後的表征，重構回去，獲得降噪後的信号。
舉個例子，小波分析經常作為信号的變換方法。一種經典的小波降噪流程是“小波分解→軟門檻值化→小波重構”。通過這種方式，就可以實作信号的降噪。
然而，這種傳統的信号降噪方式有一些懸而未決的問題：
- 首先，在小波分析中，如何建構最适合目前信号的小波函數，或者說濾波器、局部濾波算子，一直是一個很困難的問題。換句話說，在小波分解之後，可以獲得一個信号表征（一組小波系數）；在這個信号表征裡面，接近于零的部分，未必就是噪聲，可能還包含着許多有用的資訊；對這個表征進行軟門檻值化，可能會将有用資訊給一并删除了。
- 其次，如何設定軟門檻值化的門檻值，是一個很困難的問題。
3.深度殘差學習（ResNet）
相較于傳統的小波分析，深度學習算法（尤其是卷積神經網絡）可以自動地學習所需要的濾波器，在一定程度上解決了建構合适濾波器的問題。深度殘差網絡ResNet是一種改進的卷積神經網絡，通過引入跨層連接配接，降低了模型訓練的難度，見下圖：
在跨層連接配接的作用下，網絡參數的訓練難度大幅降低，進而更容易訓練出效果很好的深度學習模型，是以ResNet成為了一種非常知名的方法。深度殘差收縮網絡就是ResNet的一種改進。
到這裡就介紹了一些相關的背景知識，後續再介紹深度殘差收縮網絡的細節。
轉載網址：
深度殘差收縮網絡：（一）背景知識
https://www.cnblogs.com/yc-9527/p/11598844.html深度殘差收縮網絡：（二）整體思路
https://www.cnblogs.com/yc-9527/p/11601322.html深度殘差收縮網絡：（三）網絡結構
https://www.cnblogs.com/yc-9527/p/11603320.html深度殘差收縮網絡：（四）注意力機制下的門檻值設定
https://www.cnblogs.com/yc-9527/p/11604082.html深度殘差收縮網絡：（五）實驗驗證
https://www.cnblogs.com/yc-9527/p/11610073.html論文網址：
M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898
https://ieeexplore.ieee.org/document/8850096