機器之心報道
編輯：杜偉、小舟
相比去年評出的 15 篇傑出論文，ICML 2023 的獲獎論文數量大大減少，隻有 6 篇。
ICML 全稱是 International Conference on Machine Learning，由國際機器學習學會（IMLS）舉辦，是計算機人工智能領域的頂級會議。今年的 ICML 大會已是第 40 屆，于 2023 年 7 月 23 日至 29 日在美國夏威夷會議中心舉行。
今年，ICML 共收到 6538 份投稿，其中 1827 份被接收，接收率約為 27.9%。相較于 2022 年，本屆的投稿、接收論文數量以及接收率都有所增加（投稿 5630 篇、接收短論文 1117 篇、長論文 118 篇、接收率 21.9%）。
ICML 官方表示，每一份投稿都由領域主席和進階領域主席進行評審，以確定每一份投稿都得到适當的評估。
今日，ICML 官方放出了傑出論文獎獲獎論文。
六篇傑出論文獎
本屆會議共評出了 6 篇傑出論文，研究覆寫了無學習率、為 LLM 加水印、未見過域泛化、不完全資訊零和博弈的近優政策、MCMC 和頻率順序學習的貝葉斯設計原則等課題。
論文 1：Learning-Rate-Free Learning by D-Adaptation
機構：Meta AI、Inria Sierra
作者：Aaron Defazio、Konstantin Mishchenko（現為三星人工智能中心研究科學家）
論文位址：https://openreview.net/forum?id=GXZ6cT5cvY
該研究旨在為非光滑随機凸優化擷取無學習率的最優界限，所提方法克服了優化此類問題時傳統學習率選擇的限制，為優化領域做出了有價值且實際的貢獻。
該研究還提出了新方法的 SGD 和 Adam 變體，将用于大規模 CV 和 NLP 問題。
論文 2：A Watermark for Large Language Models
機構：馬裡蘭大學
作者：John Kirchenbauer、Jonas Geiping、Yuxin Wen、Jonathan Katz、Ian Miers、Tom Goldstein
論文位址：https://openreview.net/forum?id=aX8ig9X2a7
論文簡介：該論文提出了一種對大型語言模型的輸出添加水印的方法 —— 将信号嵌入到生成的文本中，這些信号對人類來說是不可見的，但可以通過算法檢測到。無需重新訓練語言模型即可生成水印，無需通路 API 或參數即可檢測水印。
為了檢測水印，該論文還提出了一種具有可解釋 p 值的統計測試方法，以及用于分析水印敏感度的資訊論架構。該研究所提方法簡單新穎，并提供了徹底的理論分析和紮實的實驗。鑒于檢測和大型語言模型（LLM）生成的文本正面臨嚴峻的挑戰，該研究可能會對機器學習社群産生重大影響。
論文 3：Generalization on the Unseen, Logic Reasoning and Degree Curriculum
機構：EPFL、蘋果
作者：Emmanuel Abbe、Samy Bengio、Aryo Lotfi、Kevin Rizk
論文位址：https://openreview.net/forum?id=3dqwXb1te4
論文簡介：該論文在布爾函數的學習方面取得了重要進展，尤其是針對未見過域的泛化（Generalization on the Unseen, GOTU），這是一個具有挑戰性的分布外泛化問題。該論文深入探究了這一課題，提出了一種結構良好的方法，并有充足的理論分析和大量實驗支撐。此外該論文還概述了深度神經網絡領域的一個關鍵研究方向。
具體而言，研究者探究了具有 holdout 的函數學習問題，其中部分分布支援在訓練中幾乎或從來沒有見過，并使用布爾目标函數來捕捉各種推理任務（如算術、決策樹和邏輯電路）的離散群組合屬性。
最終，研究者對長度泛化問題給出了自己的解釋，并提出了一種名為「Degree-Curriculum」的課程式學習算法，該算法通過增加支援更高效地學習單項式。算法如下所示：
論文 4：Adapting to game trees in zero-sum imperfect information games
機構：CREST、ENS Lyon、Omron Sinic X、Deepmind 等
作者：Côme Fiegel、Pierre MENARD、Tadashi Kozuno、Remi Munos、Vianney Perchet、Michal Valko
論文位址：https://openreview.net/forum?id=O1j4uFuSVW
論文簡介：該論文介紹了不完全資訊零和博弈的近優政策。研究者建立了一個新穎的下界，并提出了兩種算法 — 平衡 FTRL 和自适應 FTRL。這些貢獻極大地推動了不完全資訊博弈優化領域的發展。論文的多項實驗證明了這些說法，為研究結果提供了充分的支援。
論文 5：Self-Repellent Random Walks on General Graphs - Achieving Minimal Sampling Variance via Nonlinear Markov Chains
機構：IQVIA Inc、北卡羅來納州立大學
作者：Vishwaraj Doshi、Jie Hu、Do Young Eun
論文位址：https://openreview.net/forum?id=450iImFM4U
論文簡介：該論文解決了一組具有挑戰性的開放問題，提出了具有自排斥随機遊走的馬爾可夫鍊蒙特卡洛（MCMC）。給定任何對應目标機率分布的馬爾可夫鍊，這種自排斥随機遊走（SRRW）不太可能過渡到過去高通路量的節點，而更有可能過渡到很少通路的節點。
該方法超越了傳統的無回溯方法，并為 MCMC 采樣的新研究方向鋪平了道路。研究者為 MCMC 研究做出了原創性和重大的貢獻，更值得一提的是過程可以被嚴格地分析和證明。結果也非常全面，令人信服。
這篇論文的作者之一 Jie Hu，現為北卡羅來納州立大學博士生，他在武漢理工大學獲得了大學學位，在美國西北大學獲得了碩士學位。
論文 6：Bayesian Design Principles for Frequentist Sequential Learning
機構：哥倫比亞大學
作者：Yunbei Xu、Assaf Zeevi
論文位址：https://openreview.net/forum?id=tRhQsHnoFw
論文簡介：該論文探讨了設計 bandit 和其他順序決策政策這一非常普遍的問題。論文提出使用一種稱為算法資訊比的新量對任何政策的遺憾進行限制的方法，并推導出優化該限制的方法。該限制比早期類似的資訊理論量更為嚴格，而且這些方法在随機性和對抗性的 bandit 設定中都表現出色，實作了全局最優。
特别有趣的是，除了衆所周知的 Thompson Sampling 和針對 bandit 的 UCB 之外，這篇論文可能為全新的 exploration-exploitation 政策打開了大門。事實上，這一原理如果擴充到強化學習領域是非常有前途的。該論文得到了專家評審的一緻大力支援。
論文一作 Yunbei Xu 為哥倫比亞大學商學院博士，現為 MIT 博士後研究員，并将于 2024 年秋季開始任職 NUS 助理教授。他大學畢業于北京大學數學系。
參考連結：https://icml.cc/Conferences/2023/Awards
*封面圖來源：https://twitter.com/icmlconf/status/1683917404689305600?s=20