中原標準時間 12 月 8 日淩晨，正線上上舉行的全球人工智能頂會 NeurIPS 2020 公布了最佳論文等獎項。在一千八百餘篇論文中，三篇論文獲會議最佳論文獎項，OpenAI 等機構的 GPT-3 研究名列其中，可謂實至名歸。
人工智能頂會 NeurIPS 2020 于本月 6 日 - 12 日線上上舉行，預計此次會議将迎來 18,000 名參會者。此次會議共收到 9467 篇論文投稿，接收論文 1898 篇，論文送出數量增長 38%，再創新高，接收率為 20%，創曆史新低。
，科技公司 Criteo 的研究科學家謝爾蓋 · 伊萬諾夫對 NeurIPS 2020 的接收論文進行了初步統計，發現谷歌、斯坦福大學和 MIT 分别以 169、104 和 98 篇成為論文被接收數量最高的機構，清華大學位列第七，有 63 篇。而如果統計國家的話，美國研究者的 1178 篇論文遙遙領先，中國和英國排在其後。
NeurIPS 2020 最熱門的三個投稿方向和以往相比沒有太大變化，仍是「算法」、「深度學習」和「應用」，不過後兩個方向熱度有所降低。值得注意的是，今年的 NeurIPS 大會引入了「機器學習的社會影響」方向，探讨的内容包括公平與隐私。
此外，「理論」和「神經科學」是論文接收率最高的兩個領域，而「應用」、「資料挑戰、應用和軟體」則是今年接收率最低的方向。
、米蘭理工大學和卡内基梅隆大學提出的 no-regret 學習動态研究，和加州大學伯克利分校關于資料總結的論文共享本屆會議的最佳論文獎項。獲得時間檢驗獎的論文則是誕生于 2011 年的研究《HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent》。
最佳論文獎
今年共有三篇論文獲得最佳論文獎，分别由 OpenAI、米蘭理工大學 & 卡内基梅隆大學、以及加州大學伯克利分校的研究者摘得。
獲獎論文 1：Language Models are Few-Shot Learners
- 作者：Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei
- 機構：OpenAI、約翰霍普金斯大學
- 論文位址： https://papers.nips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf
獲獎理由：
用于估計序列中下一個詞機率的人工智能系統叫做「語言模型」。語言模型首次出現在 1950 年代，是連接配接自然語言與當時的新領域——資訊論的理論構架。OpenAI 的這篇論文提出了 GPT-3——有史以來最大也最複雜的語言模型。這項研究表明，如果你使用史無前例的大量算力和資料讓語言模型獲得足夠的準确率，它也就獲得了無需額外訓練，僅使用簡單的自然語言提示即可解決大量任務的能力。比如回答簡單的問題、生成文章、确定電影評論是否積極，以及英法互譯等。
論文作者表明，GPT-3 在一些任務中的能力勝過其他模型，并用大量篇幅探讨這項技術的優缺點。論文作者還考慮了這項技術的潛在有害影響，如低成本生成難以檢測的假新聞，模型因訓練資料偏見在種族、性别和宗教等敏感話題上産生傾向性。
一部分 GPT-3 論文作者。
GPT-3 因其高達 1750 億參數、動辄幾百萬美元的模型訓練費用和無與倫比的「文學創作」水準，在推出之後吸引了衆多學者，甚至業界以外人們的關注。不過在研究如此大規模模型之後，社群未來應該朝着哪個方向研究，我們還需要很多思考。
在 NeurIPS 2020 大會上，當被問及未來研究方向時，論文作者之一 Dario Amodei 表示：「GPT-3 仍然隻是『預測一段文字之後的下一個字』，我們還有很多事可以做，如通過強化學習來微調語言模型以改變目标函數，進而生成更複雜的文字内容。」
獲獎論文 2：No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium
- 作者：Andrea Celli (Polimi), Alberto Marchesi (Polimi), Gabriele Farina (CM) and Nicola Gatti (Polimi)
- 機構：米蘭理工大學 (Polimi)、卡内基梅隆大學 (CM)
- https://proceedings.neurips.cc/paper/2020/file/5763abe87ed1938799203fb6e8650025-Paper.pdf
人們的決定會影響到他人。為了保證合理的行事方式，我們需要通過這種「互相依賴」達到經濟學家所說的「均衡」（equilibrium）。建立能夠找出均衡點的自動程式是非常困難的任務。這篇論文提供了首個解決方法——利用學習方法為通用互動尋找「相關均衡」（correlated equilibria，CE）。
相關均衡要求一個受信任的外部調停者為決策者提供決策建議，典型案例就是紅綠燈，紅綠燈告訴車輛前進這一行為是否安全。即使在相關法律缺失的情況下，我們仍然應該遵循紅綠燈的推薦結果，因為我們知道每個人都可以推斷出這是最好的選擇，闖紅燈是危險的行為。
這篇論文表明，此類均衡可以通過完全獨立執行的學習算法來實作，無需外部交通工程師，甚至在決策涉及多個步驟、決策者對于世界的狀态一知半解時也是如此。也就是說，存在此類 regret-minimizing 算法使 CE 在更廣泛的博弈類别中實作收斂，即擴充形式的博弈。這一結果解決了博弈論、計算機科學和經濟學領域中長期存在的開放性問題，并對涉及調停者的博弈産生顯著影響，如通過導航 app 高效制定交通路線。
獲獎論文 3：Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystrom method
- 作者：Michał Dereziński, Rajiv Khanna, Michael W. Mahoney
- 機構：加州大學伯克利分校
- https://proceedings.neurips.cc/paper/2020/file/342c472b95d00421be10e9512b532866-Paper.pdf
從大型矩陣中選擇小規模且具代表性的列向量子集是一個困難的組合問題，基于基數限制行列式點過程的方法可以給出實用的近似解。這篇論文推導出近似解近似因子的新型上下界。由于這些近似方法在機器學習領域中廣泛應用，是以這篇論文可能帶來巨大影響，并為核方法、特征選擇和神經網絡的雙下降現象提供新的了解方式。
随着更多大型資料集變得可用，人們越來越依賴以簡明扼要的形式總結複雜資料。資料總結（data summarization）是識别資料中重要的樣例及屬性以高效表示資料的過程。它能夠用于從遺傳學資料集中選擇具有代表性的基因變體子集，也可用于從文本資料庫中選擇最具資訊量的文檔。
此前的研究表明，資料總結是一個棘手的問題，對于有些資料集，不存在能夠在合理的時間範圍内很好地總結資料的算法。而這篇論文表明，這些分析過于悲觀。實際上，對于現實世界中的資料而言，生成可解釋總結的成本要低得多。該研究表明，未來的系統将能夠建立準确、可解釋且高效生成的資料總結，進而極大地提高我們吸收和處理複雜資料集的能力。
時間檢驗獎
本次會議的時間檢驗獎由 Feng Niu、Benjamin Recht、Christopher Re 等人 2011 年的研究 HOGWILD! 摘得。
獲獎論文：HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent
- 作者：Benjamin Recht, Christopher Re, Stephen Wright, Feng Niu
- 機構：威斯康星大學麥迪遜分校（NeurIPS 2011）
- https://papers.nips.cc/paper/2011/file/218a0aefd1d1a4be65601cc6ddc1520e-Paper.pdf
NeurIPS 大會認為，該研究提出了首個在沒有任何鎖定機制情況下并行運作随機梯度下降算法的實作，且能夠保證強大的性能。
機器學習是将樣例資料轉換為模型的問題，模型存儲在計算機中，用來做出決策或采取行動。現代機器學習系統的核心是随機梯度方法，通常被稱為随機梯度下降（SGD）。該方法搜尋可能的模型空間，以找到和樣例資料比對的模型。
這篇論文提出了一種能夠在一組快速計算機上并行運作 SGD 的實作，所有計算機對模型反複進行微小改動，而無需任何協調或同步。論文作者将這種方法稱為 Hogwild!，該方法性能優于其他需要同步的并行化方案。該論文還對 Hogwild! 的收斂速度進行了理論分析，結果表明即使使用大量處理器，也可以達到處理器數量的線性加速（在一個恒定因子之内）。
該論文的被引用量接近 2000 次，它不僅對機器學習領域有影響，對計算機系統和優化領域也有影響，這些都促進了對 Hogwild! 方法的發展和了解。
該研究的主要作者 Feng Niu 是一名連續創業者，2012 年獲得威斯康星大學麥迪遜分校博士學位，他聯合創始的公司 Alation 在 2017 年被蘋果收購。
最後，大會也對審稿人進行了感謝——今年的 9000 餘篇論文投稿，為審稿工作帶來了空前的壓力。NeurIPS 2020 根據系統中區域主席對于評審意見的打分排名，選擇了表現在前 10% 的評審者，共 730 名稽核者獲得了「審稿人獎」，這些審稿人獲得了免費注冊的權利。
在今年的形勢下，大量學術會議采取線上形式舉行，這為人們參與 AI 領域的最熱門盛會提供了一些便利。為了促進學術交流，機器之心也在 12 月 6 日舉辦了 2020 NeurIPS MeetUp，邀請了頂級級專家、論文作者進行了為期一天的共同交流。
機器之心聯合創始人 Chain（之乎）介紹2019與2020年NeurIPS Official MeetUp 統計資料。
我們期待未來與機器學習社群成員進行更多學術探讨。
參考内容：
https://neuripsconf.medium.com/announcing-the-neurips-2020-award-recipients-73e4d3101537 https://syncedreview.com/2020/12/07/open-ais-gpt-3-paper-shares-neurips-2020-best-paper-awards-with-politecnico-di-milano-cmu-and-uc-berkeley/「WAVE SUMMIT+2020 深度學習開發者峰會」由深度學習技術及應用國家工程實驗室與百度聯合主辦，來自行業内的人工智能專家和開發者們将分享 AI 時代的最新技術發展和産業應用經驗，諸多頂級高校人工智能專家将就 AI 人才培養展開對話，AI 開源産品及社群專家也将共話開源趨勢。本次峰會既有幹貨滿滿的分享、讨論，又有豐富多彩的展示、體驗、互動，為開發者打造專屬的 AI Party。12 月 20 日，北京 798 藝術園區 751 罐，點選閱讀原文，參與報名。