一家名为Saama AI Labs发布了他们基于Llama 3 微调的开源医疗AI大模型OpenBioLLM-Llama3-70B 和 OpenBioLLM-Llama3-8B，刷新抱抱脸上的医疗大模型榜单，并占据榜首。其在生物医学领域的测试性能超越 GPT-4、Gemini、Meditron-70B、Med-PaLM-2等行业巨头。
基准测试表现
OpenBioLLM-70B 展示了卓越的性能，在 9 个不同的生物医学数据集中超越了 GPT-4、Gemini、Meditron-70B和 Med-PaLM-2 等更大的模型。尽管与 GPT-4 和 Med-PaLM 相比，其参数数量较少，但它取得了最优的结果，平均得分高达 86.06%，令人印象深刻。
详细的医学主题准确性的评测结果
微调过程
微调过程分两个阶段进行，对使用 LLama-3 70B 和 8B 型号作为基础进行微调
1、策略优化：利用直接偏好优化DPO 数据集和微调配方。《直接偏好优化：你的语言模型实际上是一个奖励模型》arxiv.org/abs/2305.18290
2、微调数据集：自定义医疗指导数据集。耗时约 4 个月收集数据，纳入 3000 个医疗保健和 10 多个医学主题数据，与医学专家合作审查其质量，并过滤掉不合格的例子。该数据集详细信息尚未发布。
官方应用示例
总结临床记录
OpenBioLLM 可以高效地分析和总结复杂的临床记录、EHR 数据和出院摘要，提取关键信息并生成简洁、结构化的病历摘要。
回答医疗问题
OpenBioLLM 可以为广泛的医学问题提供答案。
医疗文档分类
执行各种生物医学分类任务，例如疾病预测、情感分析、医疗文档分类
临床实体识别
可以通过从非结构化临床文本中识别和提取关键医学概念（例如疾病、症状、药物、手术和解剖结构）来执行高级临床实体识别。通过利用对医学术语和上下文的深刻理解，该模型可以准确地对临床实体进行注释和分类，从而从电子健康记录、研究文章和其他生物医学文本源中实现更高效的信息检索、数据分析和知识发现。此功能可以支持各种下游应用，例如临床决策支持、药物警戒和医学研究。
医疗标志物提取
识别并自动删除患者信息
检测并删除医疗记录中的个人身份信息 (PII)，确保患者隐私并遵守 HIPAA 等数据保护法规。
模型下载及使用
OpenBioLLM-70B 下载地址：huggingface.co/aaditya/Llama3-OpenBioLLM-70B
OpenBioLLM-8B 量化模型下载地址：huggingface.co/aaditya/OpenBioLLM-Llama3-8B-GGUF
在使用中需要注意的是要使用 Llama-3 指导版本提供的聊天模板。否则，性能将会下降。有用户和我本人在实际使用Llama 3 的过程中，已经遇到过因为提示词模板的问题，导致Llama 3 进入自循环回答错误问题了。
官方还宣称，虽然 OpenBioLLM-70B 和 8B 利用高质量的数据源，但其输出仍可能包含不准确、偏差或不一致，如果在没有进一步测试和完善的情况下依赖其进行医疗决策，可能会带来风险。该模型的性能尚未在随机对照试验或现实医疗环境中经过严格评估。
如果在医院本地部署该模型，挂上医院本地知识库，已经能想象到超多的实际应用了，应该能成为医疗行业的超级效率工具。