新智元報道
編輯：拉燕 好困
【新智元導讀】剛剛，ICLR 2022傑出論文獎名單公布了！
今年，榮獲ICLR傑出論文獎的論文共有7篇，其中華人一作占了3篇。
此外，還有3篇論文獲得了榮譽提名。
傑出論文獎
Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models
作者：Fan Bao, Chongxuan Li, Jun Zhu, Bo Zhang
論文連結：https://arxiv.org/abs/2201.06503
這篇論文主要談及了擴散機率模型（DPM），這是一種強大的生成模型，是機器學習領域快速發展的議題。本文旨在解決DPM模型的内在局限性。
本文作者提出了解析型DPM模型，這是一種新穎而巧妙的免訓練推理架構。該模型使用蒙特卡洛方法和預訓練模型來對差進行估算，并得到KL散度的解析形式。
本文因其理論貢獻和應用方面所具有的重要意義獲獎，将對未來DPM的相關研究産生影響。
Jun Zhu
Hyperparameter Tuning with Renyi Differential Privacy
作者：Nicolas Papernot, Thomas Steinke
論文連結：https://arxiv.org/abs/2110.03620
這篇論文就學習算法的差分隐私分析中存在的一個重要盲點，提出了全新的見解。即，以資料為基礎，多次運作學習算法，用以調整超參數的事實。
論文作者展示了，在有一些情況下，部分資料可能會使優化過的超參數産生偏離，進而洩露個人隐私等資訊。
此外，在Renyi差分隐私架構内，論文作者給超參數的收集流程提供了一些隐私保護。
這篇論文聚焦被廣泛使用的學習算法，及其對社會隐私的影響；并提出了一些辦法來解決這個問題。
可以說，這篇輪為給之後有關差分隐私-機器學習算法研究打下了基礎。
Learning Strides in Convolutional Neural Networks
作者：Rachid Riad, Olivier Teboul, David Grangier, Neil Zeghidour
論文連結：https://arxiv.org/abs/2202.01653
這篇論文解決了所有使用卷積網絡的人都可能面臨的一個重要問題。即，按部就班的設定步幅，而非通過反複試錯的方式。
論文作者提出了一種既新穎又巧妙的數學公式，來讓AI學習走路。并且，論文作者展示了一種使用的辦法，可以實作SOTA級别的實驗結果。
核心思路就是DiffStride，這是第一個具有可習得的步幅的下采樣層，人們可以學習傅裡葉域中裁剪掩碼的大小。進而能夠有效地，通過适合可微程式設計的方式，對大小進行調節。
這篇論文非常出彩，它提供了一種可以成為深度學習領域中常用工具的技術。
Expressiveness and Approximation Properties of Graph Neural Networks
作者：Floris Geerts, Juan L Reutter
論文連結：https://arxiv.org/abs/2204.04661
這篇論文展示了如何将不同神經網絡的GNN架構表達性和可分離性的問題，簡化為檢驗這些計算在張量語言中的展現，而這些問題又和一些高知名度的組合概念相關，例如樹寬。
值得一提的是，本文提供了一種巧妙的辦法，可以根據WL測試輕松擷取GNN分離能力的界限。WL測試已成為衡量GNN分離能力的标準。
論文中所提出的架構，還對通過GNN研究函數的近似性有影響。本文提供了一個用以描述、比較和分析GNN架構的通用架構，這可能會對未來的研究産生重大影響。
此外，本文還提供了大量研究工具，GNN架構設計人員可以使用這些工具分析GNN的分離能力，而無需再了解複雜的WL測試。
Comparing Distributions by Measuring Differences that Affect Decision Making
作者：Shengjia Zhao, Abhishek Sinha, Yutong (Kelly) He, Aidan Perreault, Jiaming Song, Stefano Ermon
論文連結：https://openreview.net/forum?id=KB5onONJIAU
這篇論文提出了一類新型差異，用以根據決策任務的優化損失來比較兩種機率分布。
挑選合适的決策任務，此方法就可以一般化Jensen-Shannon的差異，以及最大平均差異族。
本文作者證明了，與各種基準上的競争性的基線相比，新提出的方法實作了優異的測試能力，同時還有例證。比方說，可以用來了解氣候變化對不同社會和經濟活動的影響，或是評估樣本的品質以及選擇針對不同決策任務的特征。
新辦法不僅十分巧妙，而且委員會認為這篇論文的經驗十分重要。
Shengjia Zhao
Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path
作者：X.Y. Han, Vardan Papyan, David L. Donoho
論文連結：https://arxiv.org/abs/2106.02073
這篇論文對當今深度網絡訓練範式中普遍存在的「神經崩潰」（neural collapse）現象提出了新的見解。
本文展示了一種新的均方誤差（MSE）損失分解法，而非以往在數學上更難分析的交叉熵損失。
最終，通過研究沿中心路徑的重整化梯度流，本文作者推導出預測神經崩潰的辦法。
本文問了解深度網絡的經驗訓練動态提供了新穎且極具啟發性的理論見解。
X.Y. Han
Bootstrapped Meta-Learning
作者：Sebastian Flennerhag, Yannick Schroecker, Tom Zahavy, Hado van Hasselt, David Silver, Satinder Singh
論文連結：https://arxiv.org/abs/2109.04504
元學習，或是學習怎樣學習，具有很強的潛力發展人工智能。但是元優化一直是釋放元學習潛力的巨大挑戰。
這篇論文為元學習開辟了一個新方向，靈感來自于TD學習，從自身或其它更新規則引導元學習器。
本文理論分析透徹，實證結果令人信服。在基準測試中為無模型代理提供了最先進的技術。并且證明了其在多任務元學習中産生的性能和效率提升。
傑出論文榮譽提名
Understanding over-squashing and bottlenecks on graphs via curvature
作者：Jake Topping, Francesco Di Giovanni, Benjamin Paul Chamberlain, Xiaowen Dong, Michael M. Bronstein
論文連結：https://arxiv.org/abs/2111.14522
Efficiently Modeling Long Sequences with Structured State Spaces
作者：Albert Gu, Karan Goel, Christopher Re
論文連結：https://arxiv.org/abs/2111.00396
PiCO: Contrastive Label Disambiguation for Partial Label Learning
作者：Haobo Wang, Ruixuan Xiao, Yixuan (Sharon) Li, Lei Feng, Gang Niu, Gang Chen, Junbo Zhao
論文連結：https://arxiv.org/abs/2201.08984
參考資料：
https://blog.iclr.cc/2022/04/20/announcing-the-iclr-2022-outstanding-paper-award-recipients/