传统用于医疗预测的模型需要使用结构化数据，这大大限制了它们的应用(1)。
最近一项工作利用大语言模型（large language models, LLMs）的自然语言理解能力直接“读取”临床记录(clinical notes)实现了更便捷准确的医疗预测(1)。
纽约大学Langone健康中心（NYU Langone Health）Eric Karl Oermann等研究人员使用全Langone健康中心电子病历数据（来自4个医院387,144 位病人的725万份临床记录（clinical notes））训练一种基于BERT（(Bidirectional Encoder Representation with Transformer)）架构的大语言模型-NYUTron (109 million parameters)(1, 2)。
进一步通过任务特异的微调（fine-tuning），该模型实现了更准确（相对于基于结构化数据的模型(3)）的医疗预测（30天内全因再住院、在院死亡、合并症指数、住院天数以及保险拒单等），并可以无缝整合进诊疗流程，帮助医生及其他相关人员做判断(1)。
NYUTron模型的训练与部署(1)
研究人员进一步通过深入分析NYUTron模型在各种场景对病人30天内全因再住院的预测效果，探讨了该模型在数据使用效率、通用性以及可部署性等方面的表现(1)。
最后，结合前瞻、单臂、非干预性临床试验，研究人员初步评估了该模型潜在的临床影响(1)。
该项工作2023年6月7发表在nature。研究人员表示该项工作为转化深度学习以及自然语言模型的进展为更高质量、可负担的医疗服务打开了通路(1)。
Comment(s):
虽然数据不错，但是1.09亿参数的模型可“掌握”的医学信息应该还是很受限。将来基于GTP-4等更大规模预训练模型，进一步使用医学/临床数据微调或效果更好，或者作为当前这种模型的补充，相互验证预测结果。
另外，本项工作基于临床记录文本进行训练，是考虑目前数据量与算力合理的选择；未来还是要直接基于医学影像以及其它检查结果等一手数据训练多模态大语言模型给出更有意义的预测(4)。
通讯作者简介(5)：
参考文献：
1. L. Y. Jiang, X. C. Liu, N. P. Nejatian, M. Nasir-Moin, D. Wang, A. Abidin, K. Eaton, H. A. Riina, I. Laufer, P. Punjabi, M. Miceli, N. C. Kim, C. Orillac, Z. Schnurman, C. Livia, H. Weiss, D. Kurland, S. Neifert, Y. Dastagirzada, D. Kondziolka, A. T. M. Cheung, G. Yang, M. Cao, M. Flores, A. B. Costa, Y. Aphinyanaphongs, K. Cho, E. K. Oermann, Health system-scale language models are all-purpose prediction engines. Nature, 1–6 (2023).
2. J. Devlin, M.-W. Chang, K. Lee, K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" in Proceedings of the 2019 Conference of the North (Association for Computational Linguistics, Stroudsburg, PA, USA, 2019; https://aclanthology.org/N19-1423), pp. 4171–4186.
3. T. Chen, C. Guestrin, "XGBoost" in Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (ACM, New York, NY, USA, 2016; http://dx.doi.org/10.1145/2939672.2939785), pp. 785–794.
4. P. Rajpurkar, M. P. Lungren, The Current and Future State of AI Interpretation of Medical Images. N. Engl. J. Med.388, 1981–1990 (2023).
5. Eric Karl Oermann - Google Scholar, (available at https://scholar.google.com/citations?user=GQum-K4AAAAJ&hl=en).
原文链接：
https://www.nature.com/articles/s41586-023-06160-y