傳統用于醫療預測的模型需要使用結構化資料，這大大限制了它們的應用(1)。
最近一項工作利用大語言模型（large language models, LLMs）的自然語言了解能力直接“讀取”臨床記錄(clinical notes)實作了更便捷準确的醫療預測(1)。
紐約大學Langone健康中心（NYU Langone Health）Eric Karl Oermann等研究人員使用全Langone健康中心電子病曆資料（來自4個醫院387,144 位病人的725萬份臨床記錄（clinical notes））訓練一種基于BERT（(Bidirectional Encoder Representation with Transformer)）架構的大語言模型-NYUTron (109 million parameters)(1, 2)。
進一步通過任務特異的微調（fine-tuning），該模型實作了更準确（相對于基于結構化資料的模型(3)）的醫療預測（30天内全因再住院、在院死亡、合并症指數、住院天數以及保險拒單等），并可以無縫整合進診療流程，幫助醫生及其他相關人員做判斷(1)。
NYUTron模型的訓練與部署(1)
研究人員進一步通過深入分析NYUTron模型在各種場景對病人30天内全因再住院的預測效果，探讨了該模型在資料使用效率、通用性以及可部署性等方面的表現(1)。
最後，結合前瞻、單臂、非幹預性臨床試驗，研究人員初步評估了該模型潛在的臨床影響(1)。
該項工作2023年6月7發表在nature。研究人員表示該項工作為轉化深度學習以及自然語言模型的進展為更高品質、可負擔的醫療服務打開了通路(1)。
Comment(s):
雖然資料不錯，但是1.09億參數的模型可“掌握”的醫學資訊應該還是很受限。将來基于GTP-4等更大規模預訓練模型，進一步使用醫學/臨床資料微調或效果更好，或者作為目前這種模型的補充，互相驗證預測結果。
另外，本項工作基于臨床記錄文本進行訓練，是考慮目前資料量與算力合理的選擇；未來還是要直接基于醫學影像以及其它檢查結果等一手資料訓練多模态大語言模型給出更有意義的預測(4)。
通訊作者簡介(5)：
參考文獻：
1. L. Y. Jiang, X. C. Liu, N. P. Nejatian, M. Nasir-Moin, D. Wang, A. Abidin, K. Eaton, H. A. Riina, I. Laufer, P. Punjabi, M. Miceli, N. C. Kim, C. Orillac, Z. Schnurman, C. Livia, H. Weiss, D. Kurland, S. Neifert, Y. Dastagirzada, D. Kondziolka, A. T. M. Cheung, G. Yang, M. Cao, M. Flores, A. B. Costa, Y. Aphinyanaphongs, K. Cho, E. K. Oermann, Health system-scale language models are all-purpose prediction engines. Nature, 1–6 (2023).
2. J. Devlin, M.-W. Chang, K. Lee, K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" in Proceedings of the 2019 Conference of the North (Association for Computational Linguistics, Stroudsburg, PA, USA, 2019; https://aclanthology.org/N19-1423), pp. 4171–4186.
3. T. Chen, C. Guestrin, "XGBoost" in Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (ACM, New York, NY, USA, 2016; http://dx.doi.org/10.1145/2939672.2939785), pp. 785–794.
4. P. Rajpurkar, M. P. Lungren, The Current and Future State of AI Interpretation of Medical Images. N. Engl. J. Med.388, 1981–1990 (2023).
5. Eric Karl Oermann - Google Scholar, (available at https://scholar.google.com/citations?user=GQum-K4AAAAJ&hl=en).
原文連結：
https://www.nature.com/articles/s41586-023-06160-y