本文的研究者提出了一種整合兩個優化目标的拓撲感覺魯棒優化（TRO）方法，通過無縫地內建拓撲資訊，以增強模型的分布外(OOD)泛化性能。實驗結果證明，TRO在包括分類、回歸和語義分割在内的廣泛任務中相對于SOTA具有更優越的性能。目前，該工作已被ICLR 2023收錄。
論文連結：https://openreview.net/pdf?id=ylMq8MBnAp
代碼連結：https://github.com/joffery/TRO
一、 研究背景
近年來，機器學習（ML）被廣泛應用在高風險和安全關鍵型應用中。這類應用提出了前所未有的“分布外（OOD）泛化挑戰”：ML模型不斷接觸到訓練空間之外的未知分布。盡管在“内插”問題上取得了巨大的成功，但現代ML模型（如深度神經網絡）在“外推”問題上非常薄弱；即使平均準确性很高的模型在面對罕見或未知分布時也可能發生災難性失敗。例如，針對美國2000年至2020年間所有89次重大洪水事件進行訓練的洪水預測模型，會錯誤地對2021年的“飓風艾達”事件進行預測。如果不解決這個挑戰，模型的應用場景及其相關風險将變得不清楚。
一種解決分布外泛化問題的有效方法是進行分布魯棒優化（DRO)[1]。DRO通過建構一個“不确定性集合”以最小化潛在測試分布的“最壞”（worst-case）預期風險。這個不确定性集合通常被構造為一個圍繞訓練集的散度球。與最小化平均風險的方法（ERM）相比，DRO對來自虛假相關性、對抗攻擊、子群體或自然變化等因素引起的“分布漂移”更具有魯棒性[2]。然而，建構一個能夠真正近似未知分布的不确定性集合來是一個非常具有挑戰性的任務。一方面，為了對抗廣泛的分布漂移，不确定性集合必須足夠大，這增加了包含不可信分布（例如異常值）的風險，進而導緻過于悲觀的模型和低預測置信度[3]。另一方面，最壞分布不一定是與未知分布真正相關的“有影響力的分布”；優化最壞分布而不是有影響力的分布會犧牲模型的魯棒性。
二、方法介紹
因為模型不可能泛化到任意的未知分布，我們假設資料分布的拓撲結構對建構真實的“不确定性集合”至關重要。更具體地說，我們提出了一種整合兩個優化目标的拓撲感覺魯棒優化（TRO）方法：
- 拓撲學習：我們将資料分布模組化為位于共同低維流形上的多個離散組，通過使用實體先驗或測量分布之間的多尺度推土距離（EMD）來“探索”分布拓撲。
- 拓撲上的學習：然後，利用獲得的分布拓撲來建構一個真實的不确定性集合，其中魯棒優化将泛化風險限制在拓撲圖中，而不是盲目地泛化到未知分布上。
圖1 拓撲感覺的魯棒優化（TRO）概述
2.1 拓撲學習：探索分布拓撲
資料分布的拓撲結構可以通過一個圖
來表示，其中實體
表示資料分布，邊
表示分布之間的互相作用。拓撲圖的建構包括：1.識别實體： 我們假設實體由給定的分布ID定義；2.揭示互相作用： 我們考慮兩種情況來衡量離散分布之間的距離，如圖 1所示。
-
基于實體的分布拓撲：在鄰接資訊已知的場景下，我們可以通過簡單地施加預定義的鄰域資訊來獲得拓撲
。
例如，為了捕捉美國各州的天氣事件相似性，可以建構一個圖，其中每個州表示一個實體，兩個州之間的實體鄰接關系形成一條邊（見圖 1）。在這種情況下，
作為實體先驗限制引入到2.2介紹的魯棒優化中。
-
基于資料的分布拓撲： 在缺乏
的情況下，我們提出了一種資料驅動的方法來從訓練資料中學習拓撲
。
具體而言，我們根據資料的關聯矩陣，将各個分布嵌入到一個共享的資料圖上。受 [4] 的啟發，這樣的資料圖可以被視為黎曼流形的離散化。通過在圖上模拟時間依賴的擴散過程，我們将獲得每個組在多個尺度上的密度估計，這将用于計算兩個組之間的
距離。這種多尺度的
距離已被證明在拓撲上等價于流形測地線上的推土距離，但将
個分布
個資料點的計算複雜度從
降低到
[5]。雖然
的計算成本高于
，但我們在實驗結果表明，使用
可以進一步提高模型的魯棒性。此外，消融研究也表明，
與領域知識一緻，并且增強了TRO的可解釋性。最後，基于資料的方法完全可微分，可以以端到端的方式共同進行拓撲學習和拓撲上的學習。我們将其留作未來的工作。
2.2 拓撲上的學習：利用拓撲進行魯棒優化
接下來，我們提出了一種基于分布拓撲的優化方法來開發 TRO。關鍵挑戰在于如何利用
建構一個“不确定性集合”以降低模型在未見分布上的泛化風險。我們的主要思想是評估資料分布的中心度。結點中心度在社交網絡分析中被廣泛使用[6]，用于衡量每個實體的資訊傳播程度。在這裡，我們引入“分布中心度”來識别與未見分布真正相關的“有影響力的分布”。分布中心度可以使用圖計量，如度、中介度和緊密度來計算。更具體地說，我們首先計算
中每個實體的中心度，得到一個拓撲先驗
，以識别有影響力的分布。然後，我們使用訓練集分布的任意混合以建構“不确定性集合” Q。最後，在魯棒優化中我們使用先驗
來限制不确定性集合 Q：
直覺上, 具有高訓練損失和中心度的分布将被賦予較大的權重；這可以在拓撲圖内極大地限制OOD泛化風險。
其中
表示分布
的權重，
是一個
維的機率單純形。
是任意分布距離度量。例如，
距離或KL散度。
三、實驗結果
我們在廣泛的任務中對TRO進行了評估，包括分類、回歸和語義分割。我們将TRO與最先進的基準模型進行了OOD泛化性能的比較，并對TRO的關鍵組成部分進行了消融研究。
3.1 氣溫預測
圖2 （左） TPT-48上 N
S泛化任務。（中） 基于實體的拓撲的分布中心度。（右）基于資料驅動的拓撲的分布中心度。TRO将“PA”識别為實體拓撲中影響力較大的分布；TRO将“NY”，“PA”和“MA”識别為資料驅動拓撲中影響力較大的分布。資料拓撲的均方誤差低于實體拓撲。資料集。TPT-48[7] 包含了美國48個相鄰州從2008年到2019年的月平均溫度資料。我們專注于回歸任務，根據前6個月的溫度預測接下來6個月的溫度。我們考慮了兩個泛化任務：1、E(24)
W(24)：我們将24個東部州作為訓練組，24個西部州作為測試組；2、N(24)
S(24)：我們将24個北部州作為訓練組，24個南部州作為測試組。與最近的訓練組相距一條邊的測試組定義為Hop-1測試組，相距兩條邊的測試組定義為Hop-2測試組，其餘組定義為Hop-3 測試組。TPT-48資料集上的N(24)
S(24)的可視化結果如圖 2 (左) 所示。
表1 E (24)
W (24)和N (24)
S (24)兩個任務在TPT-48上的均方誤差（MSE）。TRO（基于資料驅動的拓撲）在這兩個任務中始終優于TRO（基于實體的拓撲），表明資料驅動的拓撲更準确地捕捉到了分布關系。結果。我們在上表中展示了TPT-48的結果。TRO在兩個任務中均獲得了最低的平均均方誤差（MSE）。我們還報告了兩個任務中Hop-1、Hop-2和Hop-3測試組的平均均方誤差。盡管在N(24)
S(24)任務中，REx在Hop-1和Hop-2組上的誤差最低，但在Hop-3組上的預測誤差最高。結果表明，REx在面對較大的分布漂移時可能會産生性能上的妥協。TRO在Hop-3組上表現出最佳性能，表明它在面對較大的分布漂移時具有強大的泛化能力。
3.2 洪水分割
圖3 （左）Sen1Floods11 上的11個洪水事件的位置。我們将事件 “BOL” 用于測試，其他事件用于訓練。（右） Sen1Floods11 上的基于資料驅動的分布拓撲。（1）TRO将“IND” 和 “NGA” 識别為最具影響力的分布。一個可能的解釋是，“IND” 和 “NGA” 都是由于暴雨引起的，而暴雨是導緻洪水的最常見災害。（2）TRO将“GHA”和“KHM”識别為影響力最小的分布。一個可能的解釋是，“GHA”和“KHM”都是由于邊緣情況，如水壩破壞，而引起的。基于資料驅動的分布拓撲與領域知識一緻，并有助于解釋TRO的結果。
資料集。Sen1Floods11[8] 是一個用于全球洪水映射的公共資料集。該資料集提供了全球範圍内的4,831個512 x 512的分辨率為10米的衛星圖像，涵蓋了11個不同的洪水事件，總共覆寫了120,406平方千米的區域。每個圖像都附帶有像素級的标簽。11個洪水事件的位置如圖 3（左）所示。不同的洪水事件在邊界條件、地形和其他潛在因素上存在變化，對現有模型的可靠性和可解釋性提出了顯著的OOD挑戰。按照[8]的約定，事件“BOL”被保留作為測試集，其他事件的資料随機劃分為訓練集和驗證集，比例為80%和20%。
表2 Sen1Floods11的分割結果（IoU）。TRO在未見的洪水事件上比其他基準模型表現出更好的性能。
結果。我們在上表中展示了Sen1Floods11的結果。ERM在驗證集上獲得了最高的Intersection over Union (IoU)，而TRO在測試集上獲得了最高的IoU。結果證明，TRO在未見的洪水事件上比其他基準模型表現出更好的性能。
四、結語
我們的貢獻包括：
- 一種新的優化方法，通過無縫地內建拓撲資訊，以增強模型的分布外(OOD)泛化性能。
- 理論分析證明我們的方法在凸和非凸損失函數下都具有快速收斂性，同時對泛化風險進行了嚴格的界定。
- 在包括分類、回歸和語義分割在内的廣泛任務中的實驗結果證明我們的方法相對于SOTA具有更優越的性能。
- 資料驅動的分布拓撲與領域知識一緻，并增強了模型的可解釋性。
參考文獻
[1] Namkoong et al. Stochastic gradient methods for distributionally robust optimization with f-divergences. NeurIPS 2016
[2] Robey et al. Model-based domain generalization. NeurIPS 2021
[3] Hu et al. Does distributionally robust supervised learning give robust classifiers? ICML 2018
[4] Leeb et al. Hölder–lipschitz norms and their duals on spaces with semigroups, with applications to earth mover’s distance. Journal of Fourier Analysis and Applications, 2016
[5] Tong et al. Diffusion earth mover’s distance and distribution embeddings. ICML 2021
[6] Newman. A measure of betweenness centrality based on random walks. Social networks, 2005
[7] Xu et al. Graph-relational domain adaptation. ICLR 2022
[8] Bonafilia et al. Sen1floods11: A georefer- enced dataset to train and test deep learning flood algorithms for sentinel-1. CVPR Workshops, 2020
招生資訊
特拉華大學(University of Delaware)計算機系(Computer and Information Sciences) 招收2024 Spring/Fall全獎博士生
研究方向：
導師：彭曦（Dr. Xi Peng, Assistant Professor）關于實驗室：我們持續在頂會發表工作包括NeurIPS, ICLR, CVPR, ICCV, ECCV, KDD, AAAI, IJCAI；近些年入學的幾位同學已經在CVPR’20-23，AAAI’21，TPAMI'22，ICLR'23，ICCV'23 發表一作論文并且榮獲 NeurIPS’21 Workshop Best Paper Award；我們與北美多家工業界實驗室合作緊密可推薦優秀學生前往暑期實習Google Research, Snap Research, Amazon AWS, IBM Watson Research.更多資訊：https://deep-real.github.io/郵件：[email protected]郵箱主題/履歷命名格式：博士申請+姓名作者：喬逢春
- Robust and Explainable DL;
- Human-centered Computer Vision.
Illustration by IconScout Store from IconScout-The End-
掃碼觀看！
本周上新！
“AI技術流”原創投稿計劃
TechBeat是由将門創投建立的AI學習社群（www.techbeat.net）。社群上線480+期talk視訊，2400+篇技術幹貨文章，方向覆寫CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術人線下聚會交流活動。我們正在努力成為AI人才喜愛的高品質、知識型交流平台，希望為AI人才打造更專業的服務和體驗，加速并陪伴其成長。
投稿内容
// 最新技術解讀/系統性知識分享 //
// 前沿資訊解說/心得經曆講述 //
投稿須知
稿件需要為原創文章，并标明作者資訊。
我們會選擇部分在深度技術解析及科研心得方向，對使用者啟發更大的文章，做原創性内容獎勵
投稿方式
發送郵件到
或添加從業人員微信（chemn493）投稿，溝通投稿詳情；還可以關注“将門創投”公衆号，背景回複“投稿”二字，獲得投稿說明。
>>> 添加小編微信！
關于我“門”▼
将門是一家以專注于數智核心科技領域的新型創投機構，也是北京市标杆型孵化器。公司緻力于通過連接配接技術與商業，發掘和培育具有全球影響力的科技創新企業，推動企業創新發展與産業更新。
将門成立于2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬建構而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。
如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，歡迎發送或者推薦項目給我“門”:
⤵一鍵送你進入TechBeat快樂星球