天天看點

《自然》:解放編輯雙手,AI審查圖像造假、學術不端

《自然》:解放編輯雙手,AI審查圖像造假、學術不端

智東西(公衆号:zhidxcom)

<b>編譯</b><b> | 程茜</b>

<b>編輯 | 李水青</b>

智東西12月23日消息,本周二,國際權威期刊《自然》刊登了一項AI(人工智能)新成果,是一款用于論文稽核的AI圖像檢測軟體,它能幫助編輯人員稽核生物學等論文中的造假圖象、錯放誤放圖檔等。

在科技論文中,實驗結果的準确性往往需要實驗資料來證明。一些研究人員為了快速完成論文或驗證自己的實驗結果,可能會利用電腦生成虛假圖檔、捏造資料,或者使用舊資料來重複配圖。如何更快更準确地發現論文中被修改和複制的圖像一直是學術期刊編輯們的頭等大事。

此前,在美國癌症研究協會(AACR)出版的十種期刊中,論文在發表之前都要經過一次不尋常的額外檢查——審查文章中出現的圖像。

自2021年1月起,AACR開始使用人工智能軟體來重新審查其他同行評審後的手稿,除重複圖檔外,該軟體還可以發現那些已被旋轉、拉伸或利用電腦生成、修改的虛假圖像。

《自然》:解放編輯雙手,AI審查圖像造假、學術不端

Proofig中對病毒粒子圖檔進行數字彩色透射電子顯微鏡(TEM)操作的示例,藍線表示人工智能用以比較的數百個相同特征

人工智能審查軟體将是未來的發展趨勢,AACR就是這項技術的早期采用者。無論是因為故意還是無意,為了避免在論文中發表被篡改過的圖像,許多期刊聘請了人員手動掃描手稿中是否存在問題,然後使用審查軟體來幫助檢查他們發現的内容。

但《自然》雜志了解到,在過去的一年裡,多家出版商開始自動化審查過程,依靠人工智能軟體在稿件發表之前發現經複制和修改的圖像。

《自然》:解放編輯雙手,AI審查圖像造假、學術不端

論文中的流式細胞圖,存在完全一緻的細胞最終落點。(圖檔來源為中國青年網)

賓夕法尼亞州費城協會期刊營運主管丹尼爾·埃萬科(Daniel Evanko)稱,AACR嘗試了多種軟體産品,然後才最終選擇了以色列雷霍沃特(Rehovot)公司的人工智能檢測軟體Proofig的服務。“我們對此非常滿意。”他補充道,他希望人工智能能夠幫助研究人員審查,以減少發表後出現的問題。

值得注意的是,當人工智能軟體标記圖像時,仍然需要專業的編輯來決定要做什麼。例如,如果同一個資料集在文中出現兩次,但表示了不同的意義,那麼重複的圖像都需要保留。其次,由于手稿組裝過程中的簡單複制和粘貼錯誤,也會出現圖像重複問題,但這是無意識發生的,并不是故意欺詐讀者。在這之前,這些問題都隻能通過編輯和作者之間的讨論來解決。

另外,現在人工智能變得足夠有效且成本低廉,專家表示,自動圖像檢查助手可能會在未來幾年席卷科學出版行業,就像使用軟體檢查抄襲在十年内成為正常一樣。出版業團體還表示,他們正在探索比較不同期刊手稿中圖像的方法。

其他檢測圖像完整性專家也認可這一發展趨勢,不過他們認為,目前尚未對各種軟體産品進行公開比較,并且自動檢查可能會産生過多誤報或遺漏某些圖檔的問題。

從長遠來看,對軟體篩選的依賴也可能會促使欺詐者使用人工智能來欺騙軟體,就像一些人通過調整文本來逃避抄襲篩選一樣。德國海德堡EMBO Reports期刊的主編伯納德·普爾韋爾(Bernd Pulverer)說:“我擔心我們正在與基于人工智能的技術進行軍備競賽,這可能導緻深度僞造圖像出現。”

研究人員多年來一直在開發用于圖像檢查的人工智能軟體,因為他們擔心論文中的學術不端行為可能對科學文獻造成破壞,而這将遠遠超過文章中出現問題後,撤回文章或更正聲明所造成的破壞程度。

此前,荷蘭微生物學家伊麗莎白·比克(Elisabeth Bik)獨立或合作發表了大約20000篇生物醫學論文,2016年研究人員對這些論文中的圖檔進行人工分析後,結果顯示有超4%的論文可能包含有問題的圖檔。然而,通常每年隻有大約1%的論文得到更正,被撤回的則更少。

《自然》:解放編輯雙手,AI審查圖像造假、學術不端

荷蘭微生物學家伊麗莎白·比克(Elisabeth Bik)

“我知道全球大約有20家公司在開發圖像檢查軟體。”加州生物醫學研究圖像處理咨詢公司Image Data Integrity總裁邁克·羅斯納(Mike Rossner)說。

去年,全球部分科學出版商聯合成立了一個工作組,為篩選圖檔問題的軟體制定标準;該小組今年釋出了關于編輯應該如何處理篡改圖像的指導方針,但尚未制定軟體的指導方針。

一些學術團體和公司告訴《自然》雜志,期刊和政府機構正在試用他們的人工智能軟體,但Proofig是第一個公開客戶資訊的公司。除了AACR,美國臨床調查學會在7月份開始使用Proofig的軟體在《臨床調查》雜志(JCI)上審查手稿,美國臨床調查學會期刊的執行編輯莎拉·傑克遜(Sarah Jackson)說。倫敦獨立學術出版公司SAGE的轉型負責人海倫·金(Helen King)稱,今年10月SAGE Publishing雜志在其五份生命科學期刊中采用了該軟體。

Proofig的軟體從論文中提取圖像,并将它們成對地進行比較,以找出共同特征。一般而言,論文的檢查時間大概在一兩分鐘内,Proofig的創始人德羅·科洛德金·加爾(Dror Kolodkin-Gal)說,該軟體還可以糾正棘手的問題,例如将高分辨率原始資料壓縮成較小檔案時可能出現的壓縮僞影。“計算機比人類視覺更有優勢。”他說,“計算機不僅不會感到疲倦,運作速度也會更快,而且它也不會受到大小、位置、方向、重疊、部分複制和這些因素組合的影響。”

關于圖檔檢查的成本,加爾拒絕詳細讨論定價問題,但他表示與出版商簽訂的合同往往根據論文中的圖像數量收費,同時也取決于手稿的數量。他說,這相當于每張紙的收費“接近幾十美元而不是幾百美元”。

傑克遜說,在《臨床調查》雜志中,該軟體發現的問題比以前從業人員手動審查的問題要多。雖然從業人員仍然需要檢查Proofig的輸出結果,但重要的是該期刊已經擁有處理各種圖像問題的人工智能系統。“我們真的覺得嚴謹的資料是我們期刊的絕對标志。我們認為這值得花時間和金錢。”傑克遜說。同時,在美國癌症研究協會的期刊中,埃萬科說許多作者很高興在發表之前就發現了他們的圖檔重複錯誤。

與此同時,位于瑞士洛桑的出版商Frontiers開發了自己的圖像檢查軟體AIRA(人工智能審查助手),作為自動檢查系統的一部分。一位發言人說,自2020年8月以來,一個研究圖像完整性的團隊一直在内部使用AIRA,用來對所有送出的手稿進行圖像檢查。但該軟體标記的大多數論文實際上沒有出現問題,僅有大約10%需要編輯團隊跟進。Frontiers拒絕透露AIRA标記的論文數量。

包括比克和羅斯納在内的圖像完整性專家表示,他們自己還沒有嘗試過AIRA或Proofig,很難評估尚未使用标準化測試進行公開比較的軟體産品。羅斯納補充說,除了重複之外,檢測是否通過PS删除或裁剪部分圖像也很重要。“人工智能軟體可能是視覺篩選的有用補充,但它可能無法替代目前形式。”

“不過,我相信這最終将成為稿件篩選的标準。”比克補充道。

尚未采用人工智能軟體圖像篩選的出版商提到了成本和可靠性問題。美國科學公共圖書館PLOS的一位發言人談道,他正在“熱切地”監控這項研究的進展情況,這些工具可以“可靠地識别常見的圖像完整性問題并且可以大規模應用”。荷蘭出版集團愛思唯爾(Elsevier)稱,它們“仍在測試”軟體,但它的一些期刊會在發表前篩選所有論文,并“使用軟體工具和手動分析的組合”檢查圖像。

一位發言人說,2020年4月,學術出版商Wiley為臨時接受的手稿推出了圖像篩選服務,目前有120多家期刊使用,但目前這是由軟體輔助的手動篩選。《自然》雜志的出版商Springer Nature稱,它正在評估一些外部工具,同時整理資料以訓練自己的軟體,該軟體将“結合互補的人工智能和人工來識别有問題的圖像”。

普爾韋爾說:“EMBO Press雜志仍然主要使用手動篩選,我不太相信商業産品的成本效益比。”而且普爾韋爾是定義軟體标準的跨出版商工作組的成員,“我毫不懷疑,我們很快就會擁有進階工具。”

普爾韋爾擔心欺詐者可能會了解該軟體的工作原理,并使用人工智能軟體生成人們和軟體都無法檢測到的虛假圖像。盡管還沒有人表明此類圖像已經出現在研究論文中,但去年釋出在提供分發服務的網站BioRxiv上的一份預印本表明,論文中有可能出現與真實資料無法區分的生物圖像的僞造版本,例如蛋白質印迹。

《自然》:解放編輯雙手,AI審查圖像造假、學術不端

《細胞生物化學》雜志中論文内蛋白質印迹圖檔(圖檔來源為中國青年網)

但研究人員正在解決這個問題,印第安納州西拉斐特普渡大學的計算機科學家愛德華·德爾普(Edward Delp)在美國國防進階研究計劃局資助的一個項目中上司了一個團隊,該團隊正在研究檢測人工智能僞造圖像的軟體,并專注于僞造的生物圖像,例如顯微鏡圖像和X射線,一篇描述該系統的論文正在審查中。

《自然》:解放編輯雙手,AI審查圖像造假、學術不端

光學顯微鏡捕捉細胞群組織的顯微照片

目前,人工智能圖像檢查通常在手稿中完成,而不是在論文中完成,這将使其計算量越來越大。但商業和學術軟體開發商表示,這在技術上是可行的。紐約雪城大學的計算機科學家丹尼爾·阿庫尼亞(Daniel Acuña)去年在數千份新冠疫情相關的預印本上成功運作了人工智能檢測軟體,以查找重複項。

Crossref是一家由15000多個組織組成的美國非營利性合作組織,該組織負責組織跨論文的抄襲檢查等。Crossref的倫敦産品總監布萊恩·維克裡(Bryan Vickery)稱,他們目前正在開展一項調查,詢問其成員對篡改圖像的擔憂、他們使用的軟體以及可以共享圖像的“跨出版商服務”是否可行。

今年12月,英國牛津學術出版商行業組織STM的子公司STM Solutions,宣布它正在開發一個雲平台,以幫助出版商合作“檢查送出的文章是否存在研究誠信問題”,同時保持隐私和保密。STM發言人馬特·麥凱(Matt McKay)表示,檢測跨期刊的圖像篡改、重複和抄襲“在我們的路線圖中占據重要位置”。

論文中的學術不端将會對期刊、作者等都造成較大的影響。此前,學術期刊都依靠編輯人工篩選,來發現論文中的圖像錯誤問題,但由于人工審查的局限性,總會出現“漏網之魚”。是以,随着人工智能技術的不斷發展和完善,人工智能檢測技術将成為論文圖像檢測的主要手段。

但由于人工智能技術無法依據情境對圖像進行判斷,最終還是需要人工編輯稽核,但這仍大大降低了編輯的工作量。傑克遜說,在臨床調查雜志中,人工智能軟體發現的問題比以前從業人員手動審查的問題要多。

此外,在圖像檢測領域建立人工智能軟體審查的雲資料平台也至關重要,實作跨出版商檢測,能夠有效避免因地區、學科不同而出現的學術不端行為。

來源:《自然》

《自然》:解放編輯雙手,AI審查圖像造假、學術不端

繼續閱讀