天天看點

清華校友立功!谷歌釋出首個全科醫療大模型,14項任務SOTA!

作者:愛家克勞德2l1w

此篇文章,隻做今日頭條首發創作,請尊重作者合法權益,不經本人允許,不得搬運抄襲,違者必追究責任。文章千字以上,内容較為細膩,閱讀前麻煩點一下關注,便于您後期持續關注相關内容。

醫療領域的人工智能技術正日益成為引領未來的關鍵力量,而在這個領域的最新成就中,全球首個全科醫療大模型——Med-PaLM M的釋出無疑将掀起一股巨大的浪潮。由谷歌Research和DeepMind共同打造的這一多模态生成模型,不僅懂得臨床語言,還能識别影像,甚至了解基因組學。

清華校友立功!谷歌釋出首個全科醫療大模型,14項任務SOTA!

作為一項重要的突破,Med-PaLM M在14項測試任務中均展現出令人矚目的表現,幾乎接近或超越了現有的技術水準。更引人注目的是,根據246份真實胸部X光片的資料,高達40.50%的病例中,Med-PaLM M生成的報告被臨床醫生普遍認可,超過了專業放射科醫生的水準。這無疑彰顯了Med-PaLM M的臨床應用前景,它不再僅僅是一個理論上的突破,而是真實可行的技術。

Med-PaLM M之是以能夠如此令人驚歎,是因為它建立在谷歌自建的多模态醫學測試基準MultiMedBench之上。

清華校友立功!谷歌釋出首個全科醫療大模型,14項任務SOTA!

這一基準整合了12個開源資料集和14個任務,涵蓋了多種生物醫學資料模式和任務類型。通過這一基準,Med-PaLM M得以充分展示其通用生物醫學AI的能力,不僅能夠解答問題、生成報告,還可以執行視覺問題回答、醫學圖像分類以及基因組變體調用等任務。

Med-PaLM M的基本架構采用了多模态語言模型PaLM-E,同時融合了ViT預訓練模型作為視覺編碼器,形成了多種組合。而在訓練過程中,作者進行了精細的微調,實作了多模式上下文輸入,進而使得Med-PaLM M能夠處理包含多個圖像的輸入。

清華校友立功!谷歌釋出首個全科醫療大模型,14項任務SOTA!

這使得它在14項任務中表現出色,特别是在放射性報告生成方面,超過40%的報告比專業醫生的更為準确。

然而,雖然Med-PaLM M取得了巨大的突破,但谷歌也坦誠地指出目前仍然存在一些限制。高品質的測試基準仍然是一個關鍵瓶頸,這直接影響了通用生物醫學人工智能的發展。目前的MultiMedBench雖然起到了推動作用,但其資料集規模和多樣性仍有限。此外,對于多模态AI模型的擴充也存在挑戰,因為生物醫學資料的稀缺性使得這一操作并不像在其他領域那麼簡單。

清華校友立功!谷歌釋出首個全科醫療大模型,14項任務SOTA!

總體來看,Med-PaLM M的釋出标志着通用醫學人工智能邁出了重要的一步,但它的實際應用還需要面對多方面的挑戰。它是否能夠快速投入實際使用,還需要進一步的探索和努力。然而,無論如何,Med-PaLM M的出現已經為醫療領域帶來了新的希望,為我們揭示了人工智能在醫學領域的無限潛能。

總之,Med-PaLM M的釋出對醫療人工智能領域具有裡程碑式的意義。它的出現不僅僅是一項技術突破,更是對醫療領域未來發展的一次積極探索。

清華校友立功!谷歌釋出首個全科醫療大模型,14項任務SOTA!