本文為轉化醫學網原創，轉載請注明出處
作者：Tracy
【導讀】最近，大型語言模型（LLM）被認為在推進醫學診斷方面具有巨大潛力，尤其是在皮膚病學診斷方面，這是一項非常重要的任務，因為皮膚和皮下疾病，在全球非緻命疾病負擔的主要貢獻者中，名列前茅。本研究介紹了SkinGPT-4，這是一個基于多模态大型語言模型的互動式皮膚病診斷系統。借助 SkinGPT-4，使用者可以上傳自己的皮膚照片進行診斷，系統可以自主評估圖像，識别皮膚狀況的特征和類别，進行深入分析，并提供互動式治療建議。
2024年7月5日， 阿蔔杜拉國王科技大學Gao Xin團隊在期刊《Nature Communications》上發表了題為“Pre-trained multimodal large language model enhances dermatological diagnosis using SkinGPT-4”的研究論文。SkinGPT-4可以在改善全球患者獲得醫療保健和提高醫療服務品質方面，發揮關鍵作用。必須強調的是，沒有一個人工智能系統是萬無一失的。是以，SkinGPT-4 并非旨在取代皮膚科醫生，而是作為一種不斷發展和優化的工具，充當促進患者和醫生之間溝通的助手。
https://www.nature.com/articles/s41467-024-50043-3
研究背景
01
皮膚和皮下疾病是全球非緻命性疾病負擔的第四大原因，影響相當大比例的人，所有年齡和地區的患病率從30%到70%不等。然而，皮膚科醫生一直供不應求，尤其是在農村地區，咨詢費用也在上升。是以，診斷的責任，往往落在非專業人員身上，如初級保健醫生、執業護士和醫師助理，他們的知識和教育訓練可能有限，進而導緻診斷準确性低。為了擴大醫療專業人員可用的服務範圍，遠端皮膚病學的使用，已經變得非常流行。這涉及傳輸受影響皮膚區域的數字圖像（通常使用數位相機或智能手機拍攝），以及從使用者到皮膚科醫生的其他相關醫療資訊。然後，皮膚科醫生遠端審查病例，并就診斷、病情檢查、治療和随訪建議提出建議。盡管如此，皮膚病學診斷領域，仍面臨三個重大障礙。首先，缺乏可以診斷患者的皮膚科醫生，尤其是在農村地區。其次，準确解讀皮膚病圖像，是一項相當大的挑戰。最後，對于皮膚科醫生來說，生成對患者友好的診斷報告，通常是一項耗時且勞動密集型的任務。
技術的進步，導緻了各種工具和技術的發展，以幫助皮膚科醫生進行診斷。例如，深度學習（DL）的最新進展，使人工智能（AI）工具的開發成為可能，以幫助從圖像中診斷皮膚疾病。大多數研究，主要集中在通過皮膚鏡圖像識别皮膚病變。然而，皮膚鏡檢查，通常不容易在皮膚科診所之外獲得。一些研究探索了皮膚癌臨床照片的使用，然而，這些方法是為特定的診斷目标量身定制的分類任務，其方法仍然需要皮膚科醫生進一步分析，以釋出報告并做出臨床決策。這些方法無法以自然語言自動生成詳細報告，也無法與患者進行互動式對話。目前，還沒有這樣的診斷系統，可供使用者自主送出資料，通過互動式分析，生成易于了解的文本報告和圖像，來自我診斷皮膚狀況。
受目前最先進的多模态大型語言模型的啟發，團隊推出了SkinGPT-4，這是一個基于多模态大型語言模型的互動式皮膚病學診斷系統。SkinGPT-4在兩個方面帶來了創新。首先，SkinGPT-4是一個與Llama-2-13b-chat對齊的多模态大型語言模型。其次，SkinGPT-4是專為皮膚病診斷而設計的多模态大型語言模型。借助SkinGPT-4，使用者可以上傳自己的皮膚照片進行診斷。該系統自主評估圖像，識别皮膚狀況的特征和類别，進行深入分析，并提供互動式治療建議。同時，SkinGPT-4的本地部署能力和對使用者隐私的承諾，也使其成為尋求可靠和精确診斷皮膚病的患者的有吸引力的選擇。為了證明SkinGPT-4的穩健性，團隊對150個真實病例進行了定量評估，這些病例由董事會認證的皮膚科醫生獨立審查。結果顯示，SkinGPT-4始終如一地提供皮膚病的準确診斷。雖然SkinGPT-4不能替代醫生，但它極大地增強了使用者對其醫療狀況的了解，促進了患者與醫生之間的溝通，加快了皮膚科醫生的診斷過程，促進了分級診療，并有可能促進“以人為本”的護理和醫療保健公平，尤其是在服務不足的地區。綜上所述，SkinGPT-4代表了大語言模型時代，皮膚病診斷領域的一次重大飛躍，也是對醫學診斷中，多模态大語言模型的一次有價值的探索。
SkinGPT-4的插圖
研究進展
02
SkinGPT-4的互動式、資訊豐富，且易于了解的
皮膚病學診斷
SkinGPT-4為患者和皮膚科醫生帶來了衆多優勢。一個顯著的好處，在于它利用了專門針對皮膚病量身定制的全面和值得信賴的醫學知識。這使得SkinGPT-4能夠提供皮膚病的互動式診斷、解釋和建議，其對MiniGPT-4提出了挑戰。與缺乏相關醫學知識和特定領域适應訓練的MiniGPT-4不同，SkinGPT-4克服了這一限制，提高了其在皮膚病學領域的熟練程度。為了證明SkinGPT-4相對于MiniGPT-4的優勢，團隊展示了兩個互動式診斷的真實示例。
對于光化性角化病病例，MiniGPT-4識别出小腫塊和紅色腫塊等特征，并錯誤地将皮膚病診斷為痤瘡；而SkinGPT-4識别出斑塊、結節、膿疱和疤痕等特征，并将皮膚病診斷為光化性角化病，這是一種因長時間暴露在太陽紫外線（UV）下而引起的常見皮膚病。在互動對話中，SkinGPT-4還建議，導緻皮膚病的原因是陽光照射，這也得到了董事會認證的皮膚科醫生的驗證。以指尖濕疹為例，MiniGPT-4識别了一些特征，如裂縫和皮膚剝落，但無法準确診斷病情，并将皮膚病的原因，歸咎于幹燥的天氣和過度洗手。相比之下，SkinGPT-4将皮膚病的特征，确定為皮膚幹燥、瘙癢和片狀，并将皮膚病的類型診斷為指尖濕疹，這也得到了董事會認證的皮膚科醫生的驗證。
總之，缺乏皮膚病學知識和特定領域的适應，對MiniGPT-4在實作準确的皮膚病學診斷方面，構成了重大的挑戰。相比之下，SkinGPT-4成功準确地識别了圖像中顯示的皮膚病特征。它不僅提出了潛在的疾病類型，還為潛在的治療方法提供了建議。這進一步凸顯了，領域特異性對于SkinGPT-4進行皮膚病學診斷，至關重要。
董事會認證的皮膚科醫生對SkinGPT-4的臨床評估
為了評估SkinGPT-4的可靠性和穩健性，團隊進行了一項涉及大量真實案例的綜合研究，并将其診斷，與董事會認證的皮膚科醫生的診斷進行了比較。結果表明，SkinGPT-4始終提供準确的診斷，與董事會認證的皮膚科醫生的診斷一緻。
在150例病例中，很大一部分SkinGPT-4的診斷（80.63%） ，被董事會認證的皮膚科醫生，評估為正确或相關。該評價包括非常同意（75.00%）和同意（5.63%）。此外，SkinGPT-4對疾病原因和潛在治療方法的回答，被醫生認為是有益的（82.50%）和有用的（85.63%）。SkinGPT-4被證明，是醫生診斷過程中的寶貴工具（87.50%），患者可以更好地了解他們的疾病 （83.70%）。SkinGPT-4支援本地部署、保障使用者隐私的能力，獲得高認同度（92.50%），進一步提升了SkinGPT-4的使用意願（77.50%）。
總體而言，SkinGPT-4提供可靠的診斷，幫助醫生進行診斷過程，促進患者了解，并優先考慮使用者隐私，使其成為皮膚病學領域的寶貴資産。
SkinGPT-4、SkinGPT-4（僅限第 1 步）、SkinGPT-4（僅限第 2 步）、MiniGPT-4和皮膚科醫生生成的診斷。
SkinGPT-4 充當全天候待命的家庭醫生
與通常需要等待幾分鐘，才能得到回複的皮膚科醫生線上咨詢；或通常需要等待數周，才能預約的皮膚科醫生面對面咨詢相比，SkinGPT-4提供了幾個優勢。首先，它可以全天候使用，確定患者不斷獲得醫療建議。此外，SkinGPT-4提供快速的響應時間，通常在幾秒鐘内。這使其成為需要在正常辦公時間之外，立即診斷的患者的快速便捷的選擇。
SkinGPT-4提供初步診斷的能力，使患者能夠就尋求面對面的醫療護理，做出明智的決定。此功能有助于減少不必要的醫生辦公室就診，為患者節省時間和金錢。在農村地區或皮膚科醫生稀缺的地區，改善醫療保健可及性的潛力，尤為重要。在這些地區，患者經常面臨漫長的等待時間，或者必須長途跋涉，才能去看皮膚科醫生。通過利用SkinGPT-4，患者可以快速友善地獲得初步診斷，進而減少面對面就診的需求，并減輕這些服務欠缺地區的醫療保健系統的壓力。
SkinGPT-4診斷的一緻性
GPT傾向于根據機率，以各種格式生成結果，是以，必須仔細考慮，與AI生成内容相關的風險和一緻性，尤其在醫學診斷方面。為了證明SkinGPT-4結果的一緻性，團隊随機選擇了45個樣本（每個類别5個）。對于每個樣本，團隊進行了10次獨立診斷。SkinGPT-4在同一圖上，做出的診斷一緻，一緻性比為93.73%。對于不一緻的情況，董事會認證的皮膚科醫生，可以觀察到多種可能的皮膚類型的特征。例如，良性惡性良性腫瘤很容易與黑色素瘤皮膚癌混淆。總體而言，SkinGPT-4的診斷，是一緻且可靠的。
董事會認證的線下和線上皮膚科醫生對SkinGPT-4的臨床評估。
研究結論
03
團隊的研究展示了在LLM中利用視覺輸入，來增強皮膚病學診斷的潛力。随着GPT-4等更進階LLM的釋出，診斷的準确性和品質，可以進一步提高。但是，必須解決與使用ChatGPT和GPT-4等LLM，作為API相關的潛在隐私問題。因為它需要使用者上傳他們的私人資料。相比之下，SkinGPT-4為這個隐私問題，提供了解決方案。通過允許使用者在本地部署模型，可以有效地解決有關資料隐私的擔憂。使用者可以在自己的系統範圍内，自主使用 SkinGPT-4，確定其個人資訊的安全性和私密性。
在現實世界中部署SkinGPT-4，可能會帶來潛在的挑戰，特别是由于患者送出的圖像的可變性。導緻這種差異的因素，包括智能手機攝像頭品質的差異、圖像前處理和後處理的變化、不同的角度和不同的照明條件。此外，解決皮膚病的不同嚴重程度，是另一個挑戰。在SkinGPT-4的訓練過程中，科學界缺乏使模型能夠準确識别皮膚病嚴重程度，所需的具體資料。SkinGPT-4在呈現不同角度、照明條件、像素密度和分辨率下拍攝的皮膚病圖像時，仍然表現出強大且可接受的性能。
複雜皮膚病的診斷，對SkinGPT-4提出了額外的挑戰。在實踐中，複雜的皮膚病經常發生，包括表現出多種特征的皮膚病組合。目前，缺乏包含多标簽皮膚病圖像，以及相應皮膚科醫生診斷的資料集。解決這一資料缺口，是未來将SkinGPT-4應用于複雜皮膚病診斷的關鍵點。
目前對Fitzpatrick V-VI（深色膚色）的研究相對有限，與對淺色皮膚的療效相比，最先進的皮膚病學AI算法，對深色皮膚病變的性能明顯遜色，尤其是在活檢證明的情況下。主要挑戰來自某些深色皮膚病的早期特征不太明顯，導緻診斷更具挑戰性。是以，膚色較深的人通常會在後期接受診斷，進而導緻發病率、死亡率和相關費用增加。使該問題更加複雜的，是Fitzpatrick V-VI資料的稀缺性。為了解決這一局限性，未來的研究工作，将涉及系統地收集Fitzpatrick V-VI資料和SkinGPT-4的有針對性訓練，以增強其對Fitzpatrick V-VI患者的診斷能力。
随着SkinGPT-4等基于LLM的應用程式，擷取更可靠的醫療教育訓練資料，而不斷發展和改進，線上醫療服務取得重大進步的潛力是巨大的。SkinGPT-4可以在改善全球患者獲得醫療保健和提高醫療服務品質方面，發揮關鍵作用。必須強調的是，沒有一個人工智能系統，是萬無一失，或者完全沒有錯誤資訊和誤診。是以，SkinGPT-4并非旨在取代皮膚科醫生，而是作為一種不斷發展和優化的工具，充當促進患者和醫生之間溝通的助手。團隊對SkinGPT-4的期望，是為患者提供更多關于皮膚病的資訊，同時也在診斷過程中，為醫生提供寶貴的幫助。是以，團隊在軟體頁面上，包含了明确的免責聲明和指南，強調遵守醫療建議的重要性，并強烈建議咨詢合格的醫生，以獲得具體的診斷結果。這些預防措施，旨在鼓勵患者負責任地使用SkinGPT-4，并確定使用者了解軟體在醫療環境中的局限性。團隊将繼續在這一領域進行研究，以進一步開發和完善這項技術。
【關于投稿】
轉化醫學網（360zhyx.com）是轉化醫學核心門戶，旨在推動基礎研究、臨床診療和産業的發展，核心内容涵蓋組學、檢驗、免疫、惡性良性腫瘤、心血管、糖尿病等。如您有最新的研究内容發表，歡迎聯系我們進行免費報道（公衆号菜單欄-線上客服聯系），我們的理念：内容創造價值，轉化鑄就未來！
轉化醫學網（360zhyx.com）釋出的文章旨在介紹前沿醫學研究進展，不能作為治療方案使用；如需獲得健康指導，請至正規醫院就診。
熱門·直播/活動
🕓 北京｜07月12日
▶ 2024單細胞組學在風濕免疫疾病研究與診療中的應用研讨會
🕓 北京｜09月20日-21日
▶ 第五屆單細胞技術應用研讨會暨空間組學前沿研讨會歡迎您的參與！
點選對應文字 檢視詳情