AI頂會審稿人指南：是什麼讓一篇論文與衆不同？

一年一度的人工智能領域頂會之一CVPR 2022（Conference on Computer Vision and Pattern Recognition，計算機視覺和模式識别會議）已經放榜，rebuttal也截止送出。随着頂會論文投稿量劇增，審稿人人手不夠，審稿品質也遭到大量吐槽。

知乎網友整理出近幾年投稿數與中稿數統計

CVPR使用多層雙盲同行評審，近幾年頂會評審一公布，知乎上對審稿人評語的吐槽已經變成了年度必有運動。近日，計算機視覺領域大佬邁克爾·J·布萊克也釋出部落格加入讨論。“是什麼讓一篇論文與衆不同？許多審稿人的一個重點是新穎性。但什麼是科學的新穎性？”布萊克在開篇提問道。

布萊克是圖賓根大學的名譽教授，也是德國圖賓根馬克斯普朗克智能系統研究所的創始主任之一，上司感覺系統部門。布萊克是德國國家科學院Leopoldina 院士和瑞典皇家科學院外籍院士，曾獲IEEE計算機學會傑出論文獎（1991 年）、Marr 獎榮譽獎（1999 年和 2005 年）、2010 年 Koenderink 獎、2013 年亥姆霍茲獎和 2020 年 Longuet-Higgins 獎。

布萊克觀察到，審稿人經常将複雜性、難度和技術含量（complexity, difficulty, and technicality）誤認為是新穎性（novelty）。在科學界的同行審議中，新穎性似乎暗示了這些事情。如果我們從審閱說明中删除“新穎”一詞而用美麗代替它可能會更好。

布萊克認為，美消除了“技術”和“複雜”的概念，更接近科學新穎性的核心。一幅畫即使簡單，技術複雜度低，也可以很美。論文也可以。畢加索的幾筆畫作可以像倫勃朗一幅錯綜複雜的畫作一樣美麗。

“牢記美感，讓我們來看看一些常見的審稿人對新穎性的誤解。”布萊克寫道。

以下記者編譯的部落格原文：

把複雜當作新穎

一個想法的簡單性常常與缺乏新穎性相混淆，而事實恰恰相反。一個常見的審閱批評是“這個想法很簡單，隻在目标優化方程的一項上改變了一點，其他一切都與之前的工作相同（It just changes one term in the loss and everything else is the same as prior work.）”。

但如果沒有人想過要作這樣的改變，那麼它實際上是新穎的。創造性的見解是認識到一個小的變化可能會産生很大的影響，并制定新的損失（formulate the new loss）。

這樣的審閱意見讓我的學生說我們應該讓一個想法看起來更複雜，這樣審稿人才會發現它更有價值。我重視簡單而不是不必要的複雜；越簡單越好。更好的科學是采用現有網絡并替換一個東西，而非炮制一個全新的網絡但隻是為了讓它看起來更複雜。

把難度當作新穎

一篇論文很難進入頂級會議，是以審稿人經常覺得想法和技術細節一定要很難，作者必須“流血、流汗和流淚”才能配得上一篇好論文。尤其是沒有經驗的審稿人，更喜歡看到作者真的很努力。

制定一個簡單的想法意味着去除不必要的東西以揭示事物的核心，這是科學家可以做的最有用的事情之一。

一個簡單的想法可能很重要，但也可能是微不足道的。這就是審稿人苦苦掙紮的地方：一個微小的想法即是一個不重要的想法。如果一篇論文有一個比現有技術更好的簡單想法，那麼它很可能不是微不足道的。作者正是抓住了某些核心，該領域的人會感興趣。

把驚喜當作新穎性

新奇和驚喜是密切相關的。從定義上講，一個新穎的想法是一個令人驚訝的想法——這是該領域沒有人想到的。但這也有另一面，因為驚喜是一種轉瞬即逝的情緒。如果你聽到一個好主意，會有片刻的驚喜，然後，它越好，它看起來就越顯而易見。一個共同的評論是：這個想法顯而易見，作者隻是結合了兩個衆所周知的想法。

明顯（Obvious）是新奇的反面。是以，如果一個想法在你聽過之後覺得理所當然，審稿人很快就會認為它其實并不新穎。然而，新穎性必須在這個想法出現之前進行評估。如果它很容易解釋并且事後看來顯而易見，那麼這絕不會削弱這個想法的創造力和新穎性。

把技術上的新穎性當作新穎性

審稿人最常見的誤解是，新穎性與技術細節有關。新穎性（和價值）在論文中以多種形式出現。如果一個新的資料集做了其他資料集沒有做過的事情，那麼它可能是新穎的，即使用于生成資料集的所有方法都是衆所周知的。如果沒有人想過以這種方式使用舊方法，那麼舊方法的新用途就可能會很新穎。用簡單的算法代替複雜的算法可以提供洞察力。

新穎性以與美麗一樣多的方式展現自己。在批評一篇論文缺乏技術新穎性之前，問問自己真正的新穎性是否在其他地方。

把有用性或價值當作新穎性

并非所有新穎的想法都是有用的，隻是新的屬性并不意味着價值。我們想要的是引領我們實作某個目标的新想法。在這裡，審稿人需要非常小心，因為你很難知道一個新想法會在該領域走向何方，因為我們所做的任何預測都是基于目前的該領域。

我看到的一個常見評論是：作者描述了一種新方法，但我不知道為什麼有人需要這個。

缺乏實用性确實是一個問題，但很難用一個新想法來評估。審稿人在這裡應該小心，并意識到我們所有人的想象力都是有限的。

個人經驗分享

我早期的職業生涯是建立在觀察和形式化兩個已有領域之間的聯系之上的：魯棒的統計（robust statistics）和馬爾科夫随機場（Markov random fields）。新穎性源于以前沒有人将這些想法放在一起。事實證明，這是一個肥沃的空間，有許多令人驚訝的聯系，并帶來了新的理論。幸運的是，這些聯系也被證明是有價值的，進而産生了最先進的實用算法。

事後看來，魯棒性檢測和計算機視覺科學之間的聯系似乎很明顯。在今天，在計算機視覺中使用魯棒檢測器已成為常态，而且似乎并不比呼吸更新穎。但在别人看到它們之前第一次看到這些聯系，就像第一次呼吸一樣。

當您瞥見一種新的觀察方式時，生活中沒有什麼比在科學中一瞬間出現的火花更令人興奮的了。你會感覺好像你是第一個站在山峰上的人，你以前所未有的方式看待這個世界。這是新奇的，它發生在瞬間，但由一個人的所有經驗促成。

由此産生的論文展現了将想法轉化為代碼、實驗和文本的過程。在這個翻譯中，火花之美或許隻能隐約瞥見，我對審稿人的要求是嘗試想象火花之前的黑暗。