雲栖号資訊:【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊,還在等什麼,快來!
最近,一位澳洲的人工智能博士候選人在 LinkedIn 上釋出了一篇關于 SARS-CoV-2 病毒的研究文章。由于極具話題性且号稱準确率可以達到 97.5%,這篇文章很快得到上萬條評論、點贊與轉發。然而,這樣一個模型卻被扒出背後隻用了 50 張圖檔訓練。

一周搭起準确率達 97% 的模型,事實是?
此前,一位澳洲的人工智能博士候選人宣布建構了一套深度學習模型,能夠從肺部 X 光片中以 97.5% 的準确率 檢測出患者是否感染了 COVID-19 病毒。因為國外疫情蔓延且醫療設施不足,是以人們對這個成果非常關注,短短時間就收獲到了上萬條評論、點贊和轉發,其還建立了 Slack 工作組,得到了大量贊美。
從目前公布的消息來看,整個項目具有以下特點:
- 一套經過訓練的 PyTorch 模型
- 容器化應用代碼
- 一套 GitHub 庫,并被翻譯為多種語言
- 正在開發中的 Web 應用程式
- 正在開發中的移動應用程式
- 規劃藍圖,有意在 AWS 中利用無伺服器架構托管這套模型
- 在營銷與贊助方面還有大量後續計劃
而以上的一切,都在一周之内快速完成。随後,Reddit 網友扒出這套解決方案存在幾個嚴重問題,并對此進行了整理與反駁。
隻用了 50 張圖像訓練?
首先,這些網絡的潛在神經表示非常複雜,是以必然需要使用大量訓練樣本才能完成模型訓練。但截至送出時,這款 COVID-19 檢測工具隻見過 50 張肺部影像。
對于這樣一套包含 150 多層、超過 2000 萬個參數的網絡來說,如此有限的訓練樣本集顯然極為荒謬。
資料樣本有問題
此外,樣本中可能存在巨大的資料偏差,這 50 張圖檔并不包含相關人員是否感染病毒,而僅根據 COVID-19 急性病例造成的肺部操作做出标記。除非肺部已經被病毒破壞,否則該模型根本無法檢測到感染迹象。此外,即使已經出現肺發炎狀,如果尚不屬于急性症狀,仍然無法證明這套模型的準确度。
圖像重複、代碼混亂、模型有問題
最後,這套 COVID 模型基于高人氣基準網絡 ResNet-50。雖然後者确實屬于圖像識别與分類領域的常用方案,但 ResNet 的預訓練一般隻涵蓋日常環境下的物體。換言之,ResNet 網絡中的隐藏層更擅長識别幾何形狀與彩色圖像,在 X 射線影像中,我們明顯找不到這樣的模式。也正因為如此,大多數醫學神經網絡才隻能選擇從零開始建構的開發方式。
進一步觀察這套代碼庫,我們還發現了不少其他問題。訓練、驗證與測試資料集中包含重複的圖像,大部分訓練過程直接照搬 PyTorch 教程,混有大量不必要的代碼;Github issues 也令人完全無法了解……
GitHub 位址:
https://github.com/elcronos/COVID-19項目負責人回應:我說了項目不可用
最初,個别開發者與項目負責人溝通并提出質疑時,對方回應稱:
xxx,你好,我們的成果已經得到加拿大 xxx 研究機構放射科醫生的支援與認可
然而,随着質疑聲越來越多,項目負責人更新了 GitHub 中的介紹,并表示:
盡管該項目的結果“看起來很有希望”,但我明确指出該模型遠沒有可用,是以不應将其用于診斷或任何醫療決定。這是在進行中的工作,我們需要具有相關技能的人員的幫助。我還在 GitHub 存儲庫中指出,我正在尋找能夠改善和收集更好資料集的開發者的幫助。
…
不幸的是,這個項目引起了相關專家的注意,他們沒有注意模型尚未準備就緒,且需要更好的資料集并幫助建立更好的模型,也沒有閱讀我們的所有免責聲明。就指責該項目具有誤導性,甚至有人暗示我對此有商業意圖。這對我的個人生活造成了一些負面影響,是以,我決定暫時退一步,暫時退出社交媒體。至少在接下來的幾天,我将不活躍于此組中。
完整版聲明參照:
然而,這位負責人此前還在大肆宣揚此項目,并發起籌款。該項目負責人建立了一個包含多個子頻道的 Slack 讨論組,其中有 一個 #marketing 頻道,專門用于溝通以及籌措資金。另外,#sponsors 頻道則負責與潛在投資者交流,向其報告未來的投資回報前景。
Slack 讨論組:
https://app.slack.com/client/T010AJ5H31N/learning-slack此外,名為 #datascientists 的頻道中沒多少有用的内容,裡面充斥着熱情滿滿但沒什麼經驗的新手。同樣的,#doctors 頻道情況也差不多,唯一有價值的内容就是來自專業醫療人員的反對意見,例如并不推薦利用肺部 X 射線診斷 COVID-19 感染。最後一個子頻道 #researchers 則幾乎沒人。
另一方面,UI/UX 頻道産出的内容倒是頗為豐富。此項計劃目前已經擁有 5 款不同的徽标,外加一套專門用于移動與 Web 應用程式的界面。
是以,對于這份聲明,大部分開發者并不買賬,不少人認為 在目前的特殊情況下,這類存在嚴重問題的項目不應釋出并大肆宣傳(甚至有開發者調侃道宣傳的工作量大概是開發工作的 20 倍)。
醫學診斷中的深度學習
深度卷積網絡在疾病的診斷與治療方面确實具有一系列潛在優勢。近年來發表的衆多科學出版物中都在高度關注這一全新發展方向:
2016 年,來自倫敦的一組研究人員發表一種新方法,以包含 8 萬張眼底照片的資料集為基礎,能夠以 86% 的準确率診斷出患者因糖尿病引發的視網膜病變。
同一年,來自烏幹達的研究人員利用包含 10000 個對象的資料集,評估了卷積神經網絡(CNN)對微觀血液塗片的分析能力。
兩位日本研究人員通過包含 55 萬例 CT 掃描影像的資料集,對肺結節進行一輪規模浩大的分類操作。
但前文提到的新冠病毒檢測完全不同,稍微浏覽其公布的代碼庫,就能看出該作者對深度學習及 AI 技術的認知嚴重不足。更糟糕的是,衆多開發者都在質疑其明顯是想利用此次疫情爆發對自己進行推廣。
說好的代碼改變世界呢?
深度學習絕不是百試百靈的解決方案。近年來,無數沒有做好準備的企業匆匆在内部建立起資料團隊,最終卻發現成本迅速提升的同時得不到任何有意義的産出。
此前,李飛飛在接受訪談時曾提到:
泡沫确實存在,過度誇張、炒作可以說鋪天蓋地。作為科學家,我希望這些泡沫都盡快消散。隻有關注堅實核心的人們才能推動 AI 進步并帶來真正的收益,這一點在醫療保健與醫藥等領域尤其重要。
另外,我們絕不應該利用技術制造不公、偏見或者擴大原已存在的不平等現象。對于 AI 技術,我希望盡可能降低它的接觸門檻、增加公平性并緩解種種相關沖突。隻要處理得當,我們完全有機會利用 AI 技術創造出更美好的未來。當然,前提是我們得認真梳理現有 AI 成果,弄清哪些是捏造的、哪些是真實的。
【雲栖号線上課堂】每天都有産品技術專家分享!
課程位址:
https://yqh.aliyun.com/zhibo立即加入社群,與專家面對面,及時了解課程最新動态!
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間:2020-04-03
本文作者:趙钰瑩,核子可樂
本文來自:“
InfoQ”,了解相關資訊可以關注“
”