天天看點

CMU釋出船新「論文評審」Python程式,淘汰人工稽核,自動給arXiv打分

雲栖号資訊:【 點選檢視更多行業資訊

在這裡您可以找到不同行業的第一手的上雲資訊,還在等什麼,快來!

什麼?同行評審已經可以被AI程式取代了?

就在4月1日,CMU提出了最新的評審标準算法——State-Of-the-Art Review,SOAR,同時開源了它的Python程式代碼。

CMU釋出船新「論文評審」Python程式,淘汰人工稽核,自動給arXiv打分

SOAR優化了過去同行評審多目标、大規模分布、延遲極高的缺陷。

這篇颠覆現在同行評審制度的論文,已被“國際AI頂會”SIGBOVIK 2020收錄。

SIGBOVIK是在每年4月1日舉辦的學術會議,隻有一天的議程,但是接收的論文都是全球頂尖名校和科技巨頭的頂級研究。

CMU釋出船新「論文評審」Python程式,淘汰人工稽核,自動給arXiv打分

今年在大會上發表的SOAR智能系統,必将把人工稽核機制掃進曆史垃圾堆。

其他還靠人工稽核論文的AI頂會表示瑟瑟發抖。不過大會評委們倒是很開心,因為以後不必做吃力不賺錢的活了。

船新的論文評分系統

目前同行評審系統存在着無法擴充、運作速度慢、結果不一緻的問題。其中,審稿人看稿速度慢是主要問題,另外暴增的博士生數量也不可忽略。

從1990年到2010年,授予博士學位的人數呈指數式增長,但是谷歌搜尋收錄的論文數量在過去幾年中卻沒有太大變化,即使旋轉坐标軸也無法保持上升趨勢。

CMU釋出船新「論文評審」Python程式,淘汰人工稽核,自動給arXiv打分

以上證據表明,要麼是現在博士的工作效率比其之前都要低,要麼是現有的評審系統沒有提供足夠的能力稽核越來越多的論文。

很顯然是後者。

是以來自CMU的研究人員提出了SOAR計劃。SOAR包含兩個重要參數:

1、對文章中的SOTA單詞數量進行計數,數字越高越可信。

2、另外就是判斷文章新穎性,統計文中novelty這個單詞出現的數量。

然後我們就得到了SOAR的計算公式:

CMU釋出船新「論文評審」Python程式,淘汰人工稽核,自動給arXiv打分

計算SOAR分數的代碼也很簡單,我們可以通過Python 3.7.2的collections.Counter對象傳遞來實作SOAR算法。

而且,算法實作的成本很低,即使你沒有計算機,也可以讓研究所學生通過鉛筆劃線的方式,手工算出SOAR。

不過第二種算法的難度在于,需要提高研究所學生的忍耐力,并說服其更好地利用時間,這一點在實驗上還未得到驗證。

arXiv網站是我們看論文常去的地方。

如果你沒有“SOAR人肉電腦”,CMU的研究人員還開發了arXiv的SOAR插件,可以對未經同行評審的論文打分,節省科研工作者的篩選時間。

插件的實際效果如下:

CMU釋出船新「論文評審」Python程式,淘汰人工稽核,自動給arXiv打分

頂會SIGBOVIK真的很“頂”

SIGBOVIK從2007年開始舉辦,最初由CMU的進階計算機科學家Harry Q. Bovik帶頭,計算機異端學會組織,今年已是第14屆。

CMU釋出船新「論文評審」Python程式,淘汰人工稽核,自動給arXiv打分

SIGBOVIK是一個研究内容相當多元化的計算機頂級學術會議。

過去SIGBOVIK讨論的内容就有:無能專家系統、深空導航、困惑理論、大型多人線上遊戲、後悔最少算法、獨自編譯、人工智障、自然智能等等。

今年的大會可謂一波三折,本來計劃3月1日截止投稿,但是一拖再拖,直到3月27日才截止。4月1日就舉辦了大會。

CMU釋出船新「論文評審」Python程式,淘汰人工稽核,自動給arXiv打分

如此高的稽核效率,不得不讓人懷疑今年的大會評審是不是就已經用上了SOAR系統。

SIGBOVIK大會今年總共隻接受了11篇論文,其中不乏CMU這樣的名校,也不乏Yandex等知名科技公司,

廣大科研工作認為,在SOAR系統的加持下,SIGBOVIK将會是超越ICLR、CVPR水準的頂會。

以上内容純屬娛樂。

【雲栖号線上課堂】每天都有産品技術專家分享!

課程位址:

https://yqh.aliyun.com/zhibo

立即加入社群,與專家面對面,及時了解課程最新動态!

【雲栖号線上課堂 社群】

https://c.tb.cn/F3.Z8gvnK

原文釋出時間:2020-04-03

本文作者: 曉查

本文來自:“ 量子位公衆号”,了解相關資訊可以關注“公衆号 QbitAI”