天天看點

人工智能算法與醫學影像分析— 王宇

内容簡要:

達摩院人工智能中心團隊介紹

達摩院醫療健康AI平台

達摩院智能醫療影像平台

客戶案例

達摩院AI中心醫療健康科研成果

阿裡雲智能-達摩院-人工智能中心(Artificial Intelligence Center)是阿裡雲智能負責雲上人工智能基礎技術研發及産品落地應用團隊。研究場景包括城市大腦、工業視覺、設計智能以及醫療健康。

醫療健康AI以影像診斷為切入口,人工智能中心緻力于跟開發者生态結合,在影像診斷、基因分析、智能問診、醫療搜尋、公共衛生等方面為醫生、病人以及相關機構提供輔助診斷和決策的AI技術支援支撐。

人工智能算法與醫學影像分析— 王宇

業務應用

達摩院醫療健康AI平台面向的是醫療機構、醫藥廠家、醫保監管機構、衛健系統、健康領域的企業以及機構和個人。

算法引擎和智能計算

算法引擎

支撐這些應用的算法引擎,劃分成4大子產品:

Ø了解:了解針對布局的分析及預測。

Ø搜尋:搜尋非結構化資料進行結構化之後,能夠提供對海量資料的彙聚、檢索功能。

Ø推薦:基于之前的資料,主動推薦診療方案以及診療路徑。

Ø訓練:為醫療科研領域能夠面向醫務工作者(包括開發者)提供一套好用的咨詢平台,包含資料以及算法的生成。

智能計算

智能算法在引擎下面,也就是平台算法,包括資料管理(資料接入、存儲及傳輸)、算法排程(資源排程、算法排程)、及圖文搜尋引擎(把大規模的非結構化資料提供結構化的向量檢索,以及檢索中用到的高性能計算功能)。

資料來源

影像資料

影像資料以大放裝置的CT核磁、x光這類資料為主,結合超聲及少量的内窺鏡資料。

結構化資料

結構化資料是在醫療領域面更大量的資料,包括電子病曆及 HIS裡的營運資料。

承載資源

阿裡雲的強項:強大的雲資源的計算功能。

包括公共雲、專有雲企業版、飛天靈活版以及針對醫療行業,我們的專有營運以及我們的飛天靈活版,以及現在正在推出的針對醫療行業的軟硬體解決方案:一鍵一體機。

包括公共雲、專有雲企業版、飛天靈活版以及針對醫療行業,我們的專有營運以及我們的飛天靈活版,以及現在正在推出的針對醫療行業的軟硬體解決方案:一鍵一體機。

人工智能算法與醫學影像分析— 王宇

達摩院醫療健康AI中台—視覺算法

影像AI算法

算法平台中的計算引擎拆分成視覺算法,視覺算法根據病種的子產品産生不同病種,下面以視覺算法為例,介紹這個算法如何在平台裡面發揮作用,以及如何服務最終客戶。 整體可分為2個大的病種和子產品:正常胸部CT、骨科綜合子產品,兩者分别對最終使用者服務的形式是有些差別。

正常胸部CT

正常修複子產品,主要是通過雲PACS廠商,及時把算法功能開放給雲PACS廠商,內建到PACS系統對醫療機構進行服務。醫療機構包括各級醫院、區域營銷中心。這種模式的好處是開發時隻需要維護1個高性能且穩定的線上服務,具體應用開發是交給其他合作夥伴完成,是以整個算法維護成本相對較低。

正常胸部CT裡功能比較成熟的已對外開放的,包括新冠肺炎分析、肺結節檢測、胸部冠脈鈣化積分的分析。

骨科綜合

直接面向網際網路骨科醫院的臨床科室,覆寫的場景會更多。包括膝關節炎的分析、膝關節術前測量、髋關節的術前測量。

服務方式是通過把算法的 API提供給網際網路醫院,網際網路醫院針對業務流程整合,提供智能化服務,面向醫生患者以及器械廠商。

冠脈CTA

冠脈CTA相對來說比較特殊,主要是基于臨床工作站。因為冠脈是比較強調互動,是以冠脈CTA主要放在臨床工作站。

人工智能算法與醫學影像分析— 王宇

醫療影像平台有兩種內建方式。

1.  智能雲影像 應用系統[OEM]

臨床全場景影像,從放射科臨床醫生到手術到會診的終端,把合作夥伴的解決方案整合,放入智能功能,然後面向終端客戶進行商業化。

醫學影像融合調閱,主要是在疾病的會診場景裡,包括影像科醫生、臨床醫生、及病理醫生,他們可能有會診的需求,會結合各類的檢查報告,把病人的資訊進行高度的整合,最後展現給醫生,友善醫生進行最終的臨床判斷。

移動閱片 &雲膠片,面向 C端使用者,産品形态為移動端的應用。使用者可以通過掃描二維碼,能夠快速看到在院内采集的影像資料以及報告,同時平台會整合AI的分析功能,把能夠定量的内容展示給使用者,友善使用者更好的解讀醫生的報告。醫生的報告通常跟普通患者的了解有一定差別,是以平台需要提供更容易解讀的方式。

2.  達摩院智能醫療AI算法 [自研]  

平台會有自研算法,整合到不同的解決方案,包括公有雲的解決方案、專有雲的解決方案、一健一體機,及傳統的醫學圖像後處理工作站。

人工智能算法與醫學影像分析— 王宇

視覺引擎:肺結節輔助診斷美年大健康案例

肺結節輔助診斷

目前已經在美年大健康裡持續疊代和應用,算法流程是對肺部進行分割,然後對結節進行檢測,再用三維的全體神經網絡對結節的類型進行判别,最後結合分割給出肺節的大小。

算法流程包括肺、肺液、結節的分割,最後結果以定量方式給到最終使用者,根據解決類型的分析給出最終結論。平台提供算法的API以及針對不同客戶的資料進行優化,來提供高精度算法結果,讓客戶最終根據算法結果進行最終應用的開發及整合。

人工智能算法與醫學影像分析— 王宇

視覺引擎:新冠肺炎CT智能輔助診斷

針對新冠肺炎開發了新冠肺炎的 CT智能輔助診斷,這期間因為有大量的患者需要醫生進行集中的閱片,醫生的閱片耗時基本上在5~15分鐘之間。 這款産品的算法可以提升速度<20秒,極大減輕醫生的閱片壓力,同時經過反複的調優,算法精确度也能>97%,是以它能基本滿足醫生日常工作需要。疫情爆發期間,這項技術對醫生提供了非常大的幫助。

人工智能算法與醫學影像分析— 王宇

客戶案例:新冠肺炎CT智能輔助診斷

新冠肺炎期間,已經向620多家醫院提供服務,其中國内530家,包括武漢及鄭州的小湯山醫院,還有日本的90家醫院,新冠肺炎期間調用次數累計超過了74萬次,進階百萬次的量級問題

整體結構在阿裡雲的基礎計算,包括存儲、分布式資料庫進行雲上服務的搭建,提供一個雲上的API,然後在結合合作夥伴,把API的結果整合到他們的PX的伺服器裡,再根據PACS的前端展示給最終的醫生使用者,來友善醫生使用者使用

人工智能算法與醫學影像分析— 王宇

客戶案例:新冠肺炎CT智能輔助診斷(海外)

新冠肺炎海外案例,這個案例除日本外,印尼、荷蘭、印度、意大利、立陶宛都有合作。

特别是在疫情集中爆發的意大利,使用這款産品後非常滿意。和日本最大的上市網際網路公司之一M3合作,他們有日本最大的醫療門戶網站,和M3一起獲得日本厚生勞動省醫療器械審批,獲批後在日本正式商用化,已經服務90家日本醫院。

整個模式會在阿裡巴巴日本節點建立服務,通過M3提供結果展示,M3會結合他們的系統來提供結果給醫生定量分析,醫生根據分析能夠快速做出判斷,對整個結構和當時服務的搭建是非常快捷和易于拓展的,很快就覆寫近上百家醫院,這在傳統模式上是比較困難的,但是結合日本的合作夥伴快速的做到了。

人工智能算法與醫學影像分析— 王宇

視覺引擎:智能骨科輔助診斷及康複

在骨科裡的做法覆寫的場景更全面,因為面向客戶不一樣,骨科主要是對接網際網路醫院,他們是全場景的需求,包括診前診中、術前、術中、術後都有智能化服務需求,是以針對他們全場景進行顧客全鍊路的打造。

以膝關節為例,線上上的患者上傳膝關節 x光片,然後算法會自動分析,告訴他嚴重程度,如果需要手術我們會根據 x光片給出一些定量的分析名額給到組織醫師,組織醫師會根據進行名額,會有大概的手術方案設計,根據手術方案會醫生跟患者會進行深度互動,同時在術後可以根據康複場景,設計一些個性康複的内容,包括一些文本和圖像的 AI。是以整個鍊路是覆寫了骨科診療的,基本上所有除了術中以外的所有的場景。

人工智能算法與醫學影像分析— 王宇

案例:唯醫骨科智能骨科輔助診斷及分析

基于Kellgren-Lawrence分級上,可以針對X光的正位片給出膝關節炎,嚴重程度的分級标準主要是根據國際通用的kl分級的标準,快速給出嚴重程度分級。

比如股骨頸骨折的自動分級,根據國際Garden給初步進骨折的快速的分級,能給到醫生和患者快速的預判。

再比如在術前可以對髋關節的正位片或膝關節全長片進行分析,告訴醫生關心的一些關鍵的角度,長度,尺寸的選擇,友善醫生對假體的選擇,手術方案的制定,給出一些定量化的名額,能夠讓醫生有一個相對标準化和一緻的手術方案的制定政策。

針對脊柱也做了一些分析,包括在CT脊柱的重建、在核磁上面椎間盤的重建、以及針對核磁的影像給出技術常見的退化性疾病的預測和分析。還在膝關節半月闆上做一些智能分析,給出半月闆損傷的檢測結果,以及嚴重程度的分析。

人工智能算法與醫學影像分析— 王宇

視覺引擎:CTA及心肌活性輔助診斷

産品介紹:CTA及心肌活性輔助診斷,面向綜合醫院、心血管專科醫聯體、區域醫共體以及各區域胸痛 中心提供CTA及心肌活性輔助診斷API。

核心功能

1.影像自動分析:冠脈樹重建、冠脈分支命名、斑塊類型及狹窄程度分析、基于正常胸部CT 的冠脈分支鈣化積分計算以及心肌厚度分析。

2.智能輔助診斷:多種曲面重建、圖像品質評估以及醫生對診斷結果進行校正。

3.自動報告生成:根據醫生校正結果生成标準 化診斷報告和膠片角度自動調整及列印。

4.複核回報:資深醫生複核及複核結果回報給初審醫生。

5.統計子產品:初審醫生閱片品質統計分析和模型誤判資料記錄。

客戶案例:CTA及心肌活性輔助診斷

下圖這個案例包括冠脈樹重建,用到了基于tracker的重建方式,結合圖神經網絡,自動給出冠脈樹命名,再根據三維重建以及下載下傳斑塊的識别,給出各種斑塊的識别類型,最終給到較完整的冠脈分析報告。

客戶案例:胸部CT AI自動配準

針對影像科醫師常見的工作場景會用到的功能:

影像複查時,醫生要對同一個病人的病竈進行跟蹤和分析,因拍攝的角度需要做一些配準,開發能夠讓 CT能夠自動快速配準的算法,在配準後的圖像中醫生看到病竈變化趨勢、評估更為友善。

在功能開發完成後收到了醫生和廠商的歡迎,以前醫生靠人工旋轉、肉眼評估,精度不夠,這個功能對日常工作提高了效率和精度,在臨床中發揮了巨大作用。

知識引擎:病原微生物全基因組分析系統

在疫情期間,針對疫情建構基因分析功能:

面向場景:

面向疾控中心、醫院臨檢中心、海關等疫情的醫療機構,建立病毒的篩查和診斷功能,向有能力的實驗室提供病毒基因算法的篩查、自動化分析和報告。

核心能力:

1.診斷報告,通過序列分析和序列拼接,分析與病毒序列的同源性,定制化給出最終報告。

2.進化分析,進化樹建構,智能分析病毒傳播或演化的拟時間圖譜,智能分析患者感染時間 。

3.結構分析,預測病毒蛋白二級結構和三維結構。病毒抗原位點的預測。

客戶價值:

1.快速精準檢測,提高地方疫情處理能力.核心算法優化,全面監控疫情發展和變化。

2.軟硬一體子產品化,簡化操作和配置,即時部署和使用。

客戶案例:新冠病毒全基因分析系統

基因分析系統

基因資料擷取後,對基因序列進行分析,新冠期間從算法上預測新冠的基因片段。

該系統的漏診率遠遠低于核酸檢測。但全基因組分析的流程慢,通過我們這套算法和系統大大加速全基因組測序的流程。

基于序列對二級結構、三維結構進行預測,開發三級結構的3D模型預測。

醫療多模态搜尋和推薦(在研)

多模态搜尋引擎

醫療資料的類型較多,有結構化的資料、非結構化資料、文本的影像等,是以需要建構一個多模态的搜尋引擎,能夠很快對非結構化資料進行結構化,建立向量索引,能夠友善科研工作者在醫療方面大量的科研工作進行快速資料歸類。

這個功能是基于城市大腦裡打磨出來的大規模的多模态檢索功能,未來将會把檢索引擎以及向量特征提取的功能複制到醫療行業中去。

達摩院醫療健康AI中台—自訓練系統規劃(在研)

醫療健康AI中台是目前達摩院在重點打造的醫療健康的咨詢系統。

由于醫療領域的并用病種每個科室都有非常多的病種,靠人力去把這些病種做完幾乎不可能,是以達摩院在開發這樣的功能給臨床醫生,讓他們能夠通過這樣的系統快速通過資料标注後,有一個簡單的模型訓練,有硬體計算資源的支撐,開發一個在醫生所在醫院院内系統的模型,同時可以通過這個系統釋出到線上平台為其他機構提供服務。

整個系統的核心:資料收集、資料标注以及資料訓練。目前的資料收集和标注部分已開發完成。集中開發機器學習訓練過程的技巧和常用架構,将好的經驗固化,形成産品提供給醫療工作者、開發者進行使用。

團隊在多項世界大賽中取得好成績,包括Luna16肺結節挑戰大賽、肝髒分割大賽、脊柱分割大賽,在LP裡也關系提取的大賽,以及多模态的圖像轉文本世界大賽第二名。

天池—大資料衆智平台

天池大賽2020年成果釋出:達摩院結合天池釋出了全球第一份關注核磁相關的資料,資料量全球目前最大的,參賽隊伍達到3000+,最後決出12支隊伍,在業内有很大的影響力。

下圖為達摩院的一些論文,如醫療圖像領域的MICCAI,2019-2020達摩院陸續發表多篇文章,達摩院還在CPU2020發表了多篇醫學圖像相關論文、醫學影像頂會1SBI等。在基因方向,達摩院在Nature子刊上發表一些高分文章。

人工智能算法與醫學影像分析— 王宇

繼續閱讀