機器之心報道
編輯：陳萍、小舟
ICLR 2022 公布獲獎名單，傑出論文獎有 7 篇，3 篇獲得傑出論文榮譽提名。
ICLR 2022 傑出論文獎已公布！今年共有 7 篇論文因其出色的條理性、洞察力、創造力和持久的影響力而被選為傑出論文獎。此外，ICLR 2022 還公布了 3 篇傑出論文榮譽提名。
今年年初，ICLR 2022 放出了本屆會議的論文接收結果：共有 54 篇 Oral（口頭報告）論文和 176 篇 Spolight 論文，論文接收總數 1095 篇，最終投稿量 3391 篇，論文接收率 32.3%。
現在，ICLR 2022 官方從 1095 篇接收論文中挑選出了 7 篇傑出論文，獲獎論文作者分别來自清華大學、中國人民大學高瓴人工智能學院、谷歌研究院、安特衛普大學、斯坦福大學、康奈爾大學、多倫多大學、DeepMind 等機構。其中張钹院士、朱軍教授的論文《ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS 》獲得傑出論文獎。
傑出論文
論文 1：ANALYTIC-DPM: AN ANALYTIC ESTIMATE OF THE OPTIMAL REVERSE VARIANCE IN DIFFUSION PROBABILISTIC MODELS
作者：Fan Bao 、 李崇軒 、朱軍、張钹
機構：清華大學、中國人民大學高瓴人工智能學院等
論文連結：https://openreview.net/pdf?id=0xiJLKH-ufZ
獲獎理由：擴散機率模型（Diffusion probabilistic model，DPM）是一類強大的生成模型，是機器學習中一個快速發展的話題。本文旨在解決 DPM 模型的固有局限性，這種局限性為 DPM 中最優反向方差的計算緩慢且昂貴。作者首先給出了一個令人驚訝的結果，即 DPM 的最優反向方差和相應的最優 KL 散度都有其得分函數的解析形式。之後他們提出了新穎而優雅的免訓練推理架構：Analytic-DPM，它使用蒙特卡羅方法和預訓練的基于得分模型來估計方差和 KL 散度的分析形式。
這篇論文在理論貢獻（表明 DPM 的最優反向方差和 KL 散度都具有解析形式）和實際益處（提出适用于各種 DPM 模型的免訓練推理）方面都很重要，并且很可能影響未來對 DPM 的研究。
論文 2：Hyperparameter Tuning with Renyi Differential Privacy
作者：Nicolas Papernot、Thomas Steinke
機構：谷歌研究院
論文連結：https://openreview.net/pdf?id=-70L8lpp9DF
獲獎理由：本文對學習算法差分隐私分析的一個重要盲點提供了新的見解，即學習算法在資料上進行多次運作以調優超參數。作者指出，在某些情況下，部分資料可能會扭曲最優超參數，進而洩露私人資訊。此外，作者在 Renyi 差分隐私架構下為超參數搜尋過程提供了隐私保障。
這是一篇優秀的論文，考慮了學習算法的日常使用及其對社會隐私的影響，并提出了解決方案。這項工作将為差分隐私機器學習算法的後續工作提供基礎。
論文 3：Learning Strides in Convolutional Neural Networks
作者：Rachid Riad、Olivier Teboul、David Grangier、Neil Zeghidour
機構：谷歌研究院等
論文連結：https://openreview.net/pdf?id=M752z9FKJP
獲獎理由：本文讨論了任何使用卷積網絡的研究者都面臨的一個重要問題，即以一種原則性的方式設定 stride，這種根據原則性的方法忽略了可能的實驗和試錯。作者提出了一種新穎的、非常聰明的、可以用來學習 stride 的數學公式，并展示了一種實用方法，該方法在綜合基準中實作了 SOTA 結果。文中主要思想是 DiffStride，這是第一個具有可學習 stride 的下采樣層，它允許學習傅裡葉域中裁剪掩碼的大小，以适合可微程式設計的方式有效地調整大小。
這是一篇優秀的論文，它提出了一種可能成為常用工具箱以及深度學習課程一部分的方法。
論文 4：Expressiveness and Approximation Properties of Graph Neural Networks
作者：Floris Geerts、Juan L Reutter
機構：安特衛普大學等
論文位址：https://openreview.net/pdf?id=wIzUeM3TAU
獲獎理由：這篇理論比較強的論文展示了如何将有關不同圖神經網絡 GNN 架構的表達性和可分離性的問題進行簡化（有時通過檢查它們在張量語言中的計算來大大簡化），其中這些問題與常見的組合概念有關，例如樹寬（treewidth）。特别地，本文提出通過 Weisfeiler-Leman (WL) 檢驗，可以很容易地得到 GNN 分離力（separation power）的邊界，該檢驗已成為衡量 GNN 分離力的标準。該架構對通過 GNN 研究函數的逼近性也有一定的指導意義。
本文通過提供描述、比較和分析 GNN 架構的通用架構，有可能對未來的研究産生重大影響。此外，本文提供了一個工具箱，GNN 架構設計人員可以使用該工具箱分析 GNN 的分離能力，而無需了解 WL 測試的複雜性。
論文 5：Comparing Distributions by Measuring Differences that Affect Decision Making
作者：Shengjia Zhao, Abhishek Sinha, Yutong (Kelly) He, Aidan Perreault, Jiaming Song, Stefano Ermon
機構：斯坦福大學
論文位址：https://openreview.net/forum?id=KB5onONJIAU
獲獎理由：該研究提出了一類新的差異（discrepancy），可以根據決策任務的最佳損失比較兩個機率分布。通過适當地選擇決策任務，該方法泛化了 Jensen-Shannon 散度（divergence）和最大平均差異族。與各種基準上的競争基線相比，該方法實作了卓越的測試性能，并且具有廣闊的應用前景，可用于了解氣候變化對不同社會和經濟活動的影響、評估樣本品質以及選擇針對不同決策任務的特征。評審委員會認為該論文具有非凡的實驗意義，因為該方法允許使用者在通過決策損失比較分布時直接指定其偏好，這意味着實際應用将有更高的可解釋性。
論文 6：Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path
作者：X.Y. Han, Vardan Papyan, David L. Donoho
機構：康奈爾大學、多倫多大學、斯坦福大學
論文位址：https://openreview.net/forum?id=w1UbdvWH_R3
獲獎理由：該研究對當今深度網絡訓練範式中普遍存在的「神經崩潰（neural collapse）」現象提出了新的理論見解。在神經崩潰期間，最後一層特征崩潰到類均值，分類器和類均值都崩潰到相同的 Simplex Equiangular Tight Frame，分類器行為崩潰到最近類均值決策規則。
該研究沒有采用在數學上難以分析的交叉熵損失，而是提出了一種新的均方誤差 (MSE) 損失分解，以便分析神經崩潰下損失的每個組成部分，這反過來又形成了一種新的「中心路徑（central path）」理論構造，其中線性分類器在整個動态過程中對特征激活保持 MSE 最優。最後，通過探究沿中心路徑的重歸一化（renormalized）梯度流，研究者推導出預測神經崩潰的精确動态。該研究為了解深度網絡的實驗訓練動态提供了新穎且極具啟發性的理論見解。
論文 7：Bootstrapped Meta-Learning
作者：Sebastian Flennerhag, Yannick Schroecker, Tom Zahavy, Hado van Hasselt, David Silver, Satinder Singh
機構：DeepMind
論文位址：https://openreview.net/forum?id=b-ny3x071E5
獲獎理由：元學習具有增強人工智能的潛力，但元優化一直是釋放這種潛力的巨大挑戰，該研究為元學習開辟了一個新方向。受 TD 學習的啟發，研究者提出一種從自身或其他更新規則引導元學習器的方法。該研究進行了透徹的理論分析和多項實驗，在 Atari ALE 基準測試中為無模型智能體實作了新的 SOTA，并在多任務元學習中提升了性能和效率。
榮譽提名
除了 7 篇獲獎論文以外，還有 3 篇論文獲得傑出論文獎榮譽提名，分别是：
提名論文 1：Understanding over-squashing and bottlenecks on graphs via curvature
作者：Jake Topping, Francesco Di Giovanni, Benjamin Paul Chamberlain, Xiaowen Dong, Michael M. Bronstein
機構：牛津大學、倫敦帝國學院、推特公司
論文位址：https://openreview.net/forum?id=7UmjRGzp-A
提名論文 2：Efficiently Modeling Long Sequences with Structured State Spaces
作者：Albert Gu, Karan Goel, Christopher Re
機構：斯坦福大學
論文位址：https://openreview.net/forum?id=uYLFoz1vlAC
提名論文 3：PiCO: Contrastive Label Disambiguation for Partial Label Learning
作者：Haobo Wang, Ruixuan Xiao, Yixuan (Sharon) Li, Lei Feng, Gang Niu, Gang Chen, Junbo Zhao
機構：浙江大學、威斯康星大學麥迪遜分校、重慶大學、RIKEN
論文位址：https://openreview.net/forum?id=EhYjZy6e1gJ
參考内容：
https://blog.iclr.cc/2022/04/20/announcing-the-iclr-2022-outstanding-paper-award-recipients/