機器之心報道
參與：澤南、蛋醬
看完摘要，領域主席：我覺得你這篇論文不太行。
「我收到了 NeurIPS 發來的拒稿郵件，感到有苦說不出。」今年 NeurIPS 新提出的「提前拒稿」機制，對于很多人來說有些猝不及防。
在兩次推遲 Deadline 之後，全球人工智能頂會 NeurIPS 2020 終于到了論文評審階段。最近，有關收到大會領域主席 Desk reject 的消息時常出現在社交網絡上。
在一些人收到的郵件中，NeurIPS 表示：「由于 NeurIPS 近年來論文送出數量大幅增長，會方難以找到足夠數量的評審者。我們今年收到了史無前例的 9467 篇論文送出。是以，我們今年使用了摘要拒稿程式：每篇論文都會經過兩名不同有經驗的研究者評估（領域主席 AC 和進階領域主席 SAC），決定論文是否需要接受進一步的評審。」
根據 NeurIPS 官方統計，今年大會的論文送出數量比上一年增長了 38%，再次重新整理了 NeurIPS 史上的送出數量記錄。
在今年送出論文的研究類型中，算法領域占據 29%，深度學習領域占據 19%，應用領域占據 18%，三者占據了絕大多數。其餘分别為強化學習和規劃領域 (9%) 、理論領域 (7%) 、機率方法領域 (5%) 、機器學習與社會 (5%) 、優化領域 (5%) 、神經與認知科學領域 (3%) 、資料、挑戰、實作和軟體等領域 (1%)。與 2019 年相比，深度學習和應用領域的比例略有下降 (兩者都下降了 2%) ，而機器學習與社會則上升了 3%。
與往年不同的是，除了因重大違規行為（例如非匿名或超出頁數限制）而被拒絕的研究之外，組委會也在「提前拒稿」階段刷掉了11%的論文。最終接收結果計劃在9月底之前通知作者。
很多人收到了組委會發來的拒稿郵件，理由包括但不限于：
「該送出被拒絕因為論文的版式不符合 NeurIPS 的要求，且未充分匿名化。」
但作者重新仔細檢查了版式和匿名化的相關要求，并無不妥，這讓人懷疑：「拒稿理由就這麼随便？」
UT Austin 的助理教授 Sinead Williamson 也收到了拒稿通知，她在社交網絡上的吐槽引來了人們的注意。
「拒稿原因是我們送出的結果是『已知結果』，但我有相當把握認為不是，那麼領域主席是不是要寫一份解釋說明到底哪裡重複了？」Williamson 說道。「我自己就是今年 NeurIPS 的領域主席，我 desk reject 了兩篇論文，盡可能詳細地寫了拒稿原因，包括對于類似研究的引用，這應該是最基本的禮貌了吧。但令人失望的是，我自己的研究遭遇了『未被勾選上』形式的拒絕，如果是個學術新人，這種打擊可能會更加令人傷心。」
也有其它研究者表示：「這拒稿理由竟然和我們一模一樣……」
「我看過 6 個人都是因為這個原因被拒的……」如果是真的，未免也太巧合了？
這一度讓人懷疑：「他們不會是為了完成 kpi，在沒認真審稿的情況下，随機配置設定了拒稿理由吧？」
這次引發争議的第一波拒稿，源于今年二月 NeurlPS 組委會的決定。在新一屆大會中，不僅投稿截止日期提前了（在因為新冠推遲之前），還将有部分論文會被提前拒絕，絕大多數作者也可能會參與審稿工作。
太長不讀版：
- 今年摘要送出的截稿日期提前到 2020 年 5 月 5 日，而論文送出的截止日期是 2020 年 5 月 12 日，此次調整目的是為了讓社群能夠合理的處理完增加的投稿量，以及配合提前拒稿這一新政策。
- 提前拒稿：領域主席會有兩個星期時間去建議哪些論文會被提前拒絕，而且目前預計将有 20% 左右的論文會被提前拒絕。緊接着進階領域主席會有一個星期的時間來稽核及準許這一決定。準許之後，這些論文作者将會得到通知。
- 作者也是審稿人：此次改變提出，在需要時，論文作者或聯合作者都需要同意審稿。這一改變有助于增加審稿人員的總量，并可以在送出論文的員中更加公平地配置設定審稿的工作量。
- 更廣泛的影響：作者被要求在他們送出的檔案中包含新的讨論部分，而讨論部分是關于他們的研究工作可能産生的影響，包括一些可能導緻的正面的或者負面的社會影響。
- Spotlight 視訊：社群要求所有作者在送出作品時都上傳一段視訊，主要是記錄該工作的 Spotlight 展示，該視訊和 camera-ready 版論文一同送出。同時，社群也在推進遠端示範以及遠端參會，他們也能看到這樣的視訊展示。
研究者們吐槽最多的問題是，這種提前拒稿機制着實有點「随機拒稿」的樣子。提前拒稿确實減少了審稿人的負擔，但這會讓被拒絕的投稿人相當痛苦——失望來得太快，并且無法從中獲得任何建設性的意見來改進論文。
最近，機器之心也收到了一些 NeurIPS 2020 論文被拒稿研究者的吐槽。來自華為的研究員謝淩曦表示，他剛剛收到了來自 NeurIPS 的 desk reject 郵件，而遭到拒稿的正是他今年自己最滿意的工作，GOLD-NAS 的神經網絡架構搜尋算法（https://arxiv.org/abs/2007.03331）。
「我個人覺得這是一個很能啟發未來 NAS 研究方向的工作。它定義了一個超大搜尋空間，并論證了可微分搜尋方法能夠在這個空間上以單階段、漸進剪枝的方式，穩定地找到成本效益更高的結構。我們發現了很多以往從來沒有研究過的結構，并且證明了他們在精度和複雜度之間取得了更好的平衡，」謝淩曦表示。
他還透露了更多拒稿細節，例如組委會為每篇 desk reject 文章提供了一份「chair note」，但是他在與其他被拒稿的同行交流後發現，組委會為每篇文章提供的 note 是完全一樣的：
This submission is summarily rejected because:
- There is not a significant contribution with respect to previous work; for example, the paper presents an incremental method, the gains are not significant, or the main theoretical results are variations of known results.
- The proposed approach is not supported with sufficient empirical evidence, or important baselines are missing.
通篇沒有針對文章的具體描述。随後，這位研究者給組委會寫了一封郵件，表達了自己的不滿，得到的同樣是模闆化的回複：
I'm sorry, but the summary rejection decisions are final.
Please be assured that your AC did read the paper, as did the senior AC who confirmed their decision.
From their internal discussion, the following concerns emerged: the proposed method did not have enough contribution because it was a collection of known techniques, and the experiments did not include enough ablation studies, making it hard to properly motivate the architectural and methodological choices made by the authors.
Even if you disagree with these arguments and motivations, you may want to consider clarifying these aspects in the future revisions of your work.
I realize that this is a disappointing outcome, and I wish you the best for future submissions.
謝淩曦認為，這種敷衍的态度是對于研究者的不尊重，這種做法也是在浪費作者的寶貴時間。作為世界頂級的機器學習會議，每年都會有大量的研究者将自己最好的工作投稿至 NeurIPS，這樣的拒稿方式，可能會傷害一部分研究者的熱情。
參考連結：
https://medium.com/@NeurIPSConf/reviewing-is-underway-a5532d4615ec
https://www.reddit.com/r/MachineLearning/comments/hqpwvc/d_weird_nips_rejection/