近年來，深度學習模型在醫療健康、圖像處理、機器翻譯、自動駕駛領域應用廣泛，并取得了卓越的性能。然而，深度神經網絡是一個具有高度非線性的複雜結構，本質上可以将其視為一個“黑箱”模型。顯然，這種不透明模組化技術在許多領域無法得到信任，嚴重限制了深度學習模型在許多敏感或高風險領域的使用。
例如，在醫學領域，使用深度學習模型的目的是建構應用程式，幫助醫生做出醫療決策。但是，深度學習模型中有數百萬個參數，使用者給模型一個輸入，隻是傳回一個決策結果，并不知道模型内部具體的決策機制，可解釋性較差，導緻醫學專家不信任模型的決策結果。
在自動駕駛領域，深度學習模型的決策結果直接關乎人的生命安全。出于對安全的考慮，人們需要了解深度學習模型做出某個特定決策的原因，獲得使用者的信任。是以，深度學習模型可解釋性亟待提高，研究深度學習模型的決策結果如何被人類了解以及如何使深度學習模型盡可能透明變得迫在眉睫。大的架構如下：
本項目運作環境為MATLAB R2021b,低于此版本無法運作成功。
大佬說了，最簡單可以将可解釋性分為兩類，第一類是全局性解釋，第二類是局域性解釋。
全局性解釋 試圖可視化神經網絡每個神經元學到了什麼。
局域性解釋 隻關注輸入空間中在這個圖檔周圍的很小區域。
以Local Interpretable Model-Agnostic Explanations（LIME）算法為例，進行可視化。
完整代碼如下：
https://mbd.pub/o/bread/mbd-Ypuak59p