天天看點

如何高效驗證深度神經網絡的學習行為?看看 Facebook 是怎麼做的

雷鋒網 AI 科技評論按:Facebook AI 昨日推薦了一款能夠比目前 state-of-the-art 程式更快識别應用安全水準的最新技術。過去我們從計算機視覺、強化學習以及語音識别等領域發掘了深度學習的巨大潛力,然而對于一些安全性要求較高的應用(如自動駕駛)來說,在模型得到有效驗證以前,并無法真正受惠。Facebook提供的新方法适用于深度學習,能夠對無法确定輸出結果的輸入内容進行有效驗證,進而杜絕不當決策的産生。雷鋒網(公衆号:雷鋒網) AI 科技評論将該開源文章編譯如下。

如何高效驗證深度神經網絡的學習行為?看看 Facebook 是怎麼做的

在具體操作上,我們先利用分段線性(這裡使用的是 ReLU )激活的結構來建構一組可能輸出的 convex overapproximation 。該 overapproximation 可通過線性程式設計(LP)求解器獲得,且能讓我們迅速判斷輸出是否所需。為了避免操作趨于保守,我們會将輸入集重複劃分為更小的子集以及對應較小的 convex overapproximations ,進而細化 overapproximation。

對于這種“劃分-處理”類型的操作程式,輸入集分區的生成方式選擇将對驗證問題的時間長短産生重大的影響。現有的技術主要通過遞歸的方式将輸入集劃分為較小的子集,以确認一組輸入的安全性。而我們的技術則使用 LP 的最優原和雙變量(在 convex overapproximation 過程中生成)來計算靈敏度的度量(所謂的影子價格),是以得以估計新的分區将如何影響随後的overapproximations,進而減少分裂的數量。最後的結果是,我們擁有一個能以快速且資源有效方式來驗證深度神經網絡的算法,有效減少了計算所需的時間。

如何高效驗證深度神經網絡的學習行為?看看 Facebook 是怎麼做的

通過更有效的算法将輸入集劃分為更小的子集。 在這種情況下,來自初始集的輸入不會産生歸屬危險集的輸出(由感歎号表示)。

總的來說,該結果為我們當下各種機器學習應用(包括視覺與控制)的驗證方法改進提供了一條全新思路。如何高效、可靠地對深度神經網絡的學習行為進行驗證,是将這些技術內建到對安全要求較高的領域的重要一步。我們的未來工作将集中在如何将驗證能力擴充至更常見的神經網絡以及具備任意拓撲的輸入集。

論文連結:

https://l.facebook.com/l.php?u=https%3A%2F%2Farxiv.org%2Fabs%2F1902.07247&h=AT19u-xX03Ad5gQjrdBK0CFYk9UtXTeUSlm1oyigm1L3jnyxMuwv3AYszT3NgXoKV84Y8Rn7TvFbHSqpcIHqaaXEaYcsAV7-lCPajQHC5FUpxFFdjC2Yl12oCN-GNyRKZmKa6ccHQf5ewLZLaYv146sum0G7v1gF6P7l2kVR

via https://ai.facebook.com/blog/faster-more-efficient-neural-network-verification/

雷鋒網 AI 科技評論

繼續閱讀