醫學領域
醫學影像的特點
- 高依賴成像裝置和成像環境;圖像種類多差異,很難融合
- 圖像像素大,信噪比低且圖像分辨率低
- 生物個體存在差異性、易變性。
醫學病症大緻分類
從人類結構來分類,腦(腦血管病,神經’性疾病 阿爾茨海默病,帕金森病,癫痛] ,精神疾病 擁郁症,精神分裂症],腦瘤等)、胸(心髒疾病,肺結節/肺癌,乳腺結節/乳腺癌等)、頸(頸動脈檢測,甲狀腺癌等)、眼(糖尿病眼病等)、腹部(胃癌)、男性盆骨(前列腺癌等)、女性盆骨(子宮頸癌等)。
腦部疾病是顱内組織器官(腦膜血管、大腦、小腦、腦幹、顱神經等)的發炎、血管病、惡性良性腫瘤、變性、畸形、遺傳病、免疫性疾病、營養代謝性疾病、中毒、外傷、寄生蟲病等的總稱。胸部疾病主要分布在肺、乳腺、食管、氣管、支氣管等部位。
腹部包括肝、腆、脾、腎等多個器官,腹部疾病也主要集中在這些器官的損傷上。常見的腹部疾病包括:肝癌、肝炎、前列腺癌、前列腺炎、急性闌尾炎、子宮頸癌等。
常見的眼科疾病有:中心漿液性視網膜病變、幹眼症、交感性眼炎、夜盲症、失明眼部結構、弱視、散光、沙眼、白内障、糖尿病視網膜病變、結膜炎、老花眼、色盲、虹膜異色症、視網膜色素變性、視網膜中央動脈阻塞、視網膜脫落、近視、遠視、針眼、雪盲症、震粒腫、青光眼、飛蚊症等
深度學習在醫學領域的應用
深度學習應用在醫學上的問題
- 深度神經網絡可以被有效地用在醫學任務上嗎?
- 資料的缺乏,資料的标記成本太高,transfer learning和 fine-tuning被提出來,但是從一般意象到醫學領域的遷移學習是否相關?
- 我們是否可以單獨依靠學習的特征,還是可以将它們與人工制作的功能結合起來完成任務?
深度學習在醫學影像方面的實際應用
a. 圖像分割
Middleton等介紹采用結合神經網絡(多層感覺器)和snake模型的算法對肺的MR圖像進行分割。自動提取腦膠質瘤病竈方法對于腦膠質瘤手術、放射治療和療效評估,以及腦膠質瘤放射組學資料自動化分析和進行智能化決策非常重要。Pereira等報道對腦膠質瘤MR圖像病竈采用卷積神經網絡(CNNs)的方法來自動提取病竈,克服人工處理存在的費時、重複性差的缺點。Zhao和Jia介紹類似的CNNs方法從腦膠質瘤MR圖像自動提取病竈,并且取得滿意的結果。采用CNNs技術在一定程度上初步解決了病竈自動提取的技術問題。Liang等采用CNNs技術對腦梗塞病竈MRI擴散權重圖像(Diffusion-weighted MR Imaging,DWI)進行自動化提取,為建立智能化決策提供有效手段。Dolz等介紹采用CNNS對MRI腦3D圖像亞皮質進行自動提取方法,并且與标準資料庫進行比較,結果表明與标準資料庫結果有很好的一緻性。
b. 圖像配準
在對不同模式醫學圖像或多參數醫學圖像進行圖像融合前,必須對圖像進行精确配準。Wu等介紹采用非監督學習方法提取圖像特征,并進行圖像配準。在Wu等研究結果的基礎上,Shun等提出采用卷積神經網絡回歸的方法來進行2D或3D圖像配準。先對局部特征進行訓練,然後學習将複雜特征采用分層方式進行分解。采用該方法對潛在的臨床應用進行定量化評估。Ghesu等介紹采用深度強化學習的方法對CT圖像配準的技術,明顯提高圖像配準的精準度。
c. 病竈檢測和輔助診斷
計算機輔助病竈探測Computer-Aided Detection,CAD;或診斷(Computer-Aided Diagnosis, CADx)幫助臨床醫師明顯提高臨床診斷的準确性。Huynh等用CNN技術提高對乳腺癌輔助診斷(ROC曲線下面積AUC:0.86)效能。Wang 等報道168例肺癌PET/CT掃描患者,選擇1397個淋巴結,以病理作為标準,判斷有無轉移,并選擇4種機器學習和深度學習CNN方法,以10倍資料作為訓練組。最後将CNN方法與醫師閱讀片方法進行比較。結果表明傳統方法優于紋理特征分析方法,CNN方法優于醫師閱片方法,但是CNN與醫師閱讀方法之間沒有顯著差異。機器學習方法具有高的靈敏度,但是特異性比較低。深度學習還有一個優勢就是不需要對病竈進行分割,降低誤差并明顯提高工作效率。
d. 影像組學生物标志物提取
過深度學習技術能夠加速将影像組學應用到臨床實際工作中去。Parmar等在對影像組學研究經驗的基礎上,采用深度學習技術理念,對464例肺癌患者CT圖像研究。他們将肺癌病竈分成4類,共提取440個影像特征。464例其中310例作為訓練組,154例作為驗證組,并選擇12個分類器對14個特征進行分析,優化分類器和圖像特征,驗證機器具有很好的診斷效能。Velazquez等介紹肺癌CT圖像影像特征與突變基因(EGFR、KRAS)之間的聯系。

醫學影像模型架構的應用
SAE(stack auto-encoder)
無監督學習方案,得到特征描述為主
RBM(restricted Boltzmann machine)
無監督學習方案,與SAE 類似
CNN(convolutional neural network)
卷積神經網絡,可以用來提取圖檔特征或者直接完成分類檢測等任務
RNN(recurrent neural network)
循環神經網絡,用來擷取時序上的資訊,可以+-在CT等逐行掃描圖像中使用
U-net (with a single downsampling stage)
類似于帶short-cut的全卷機網絡,用來融合不同尺度的圖像的特征
FCNN(fully convolutional neural network)
全卷機網絡,可以擷取與原圖相同分辨率的圖檔,常用于分割等任務
FRCNN(Faster Region-proposal based neural network)
一種快速的深度學習檢測網絡架構,可用于檢測圖像中的多種物體
在腦部疾病方面的應用
阿爾茨海默病 (Alzheim ‘s Disease , AD) ,是一種起病隐匿的進行性發展的神經系統退行性疾病,最常見的臨床特征是患者在晚年陷入癡呆狀态。為了提取其腦圖像特征,fiu等問從 MRI PET 掃描中提取 83 個感興趣區域,并使用多模态融合建立一組特征來訓練堆疊的去噪自動編碼器,文中提出的資料融合政策遵循訓練自動編碼器的去噪方式,理論上增加了特征學習的難度,但控制了過拟舍。 Suk 用堆疊自編碼從 MRI PET 和腦脊液化SF) 圖像中獨立提取特征;充分考慮了它們的簡易精神狀态檢查 (MMSE)AD 評估表比較組合這些特征;并根據選擇的 個衛在 I, PETCSF 特征與多核 SVM 進行 AD 分類。後來,其又采用多模式深度玻爾茲曼機從每個標明的 MRI PET 掃描貼片中提取一個特征,并用 SVM 的集合預測 ADo Payan 基于SAE 的預訓練,提出了一種用于 AD 診斷的 3D 卷積神經網絡。随機選擇 3DMRI 掃描片來預訓練 SAE ,訓練的 SAE重用于 3D-CNN 的卷積過濾預訓練。最後,對 3D-CNN 的全連接配接層進行微調分類,但是微調需要在訓練階段以犧牲大量的計算複雜度為代價。然而, Hosseini-AS!等分析基于l\但 的特征提取技術限制了 AD 分類的準确性,因為從腦l\但 獲得的體素特征非常嘈雜,這些資料需要經過平滑和聚類後才能用于分類,這樣經過處理的資料本身就缺乏準确性。為了改進上述傳統的特征提取方法,他們提出了一種新的深度監督自适應 3D-CNN 網絡,在該網絡中, 3D-CAE習并自動提取識别 AD 特征,捕獲由 AD 引起的變化。将3D-CAE 預訓練的卷積濾波器進一步應用于另一個資料域集,如 Dementia 預訓練後的 AD 神經影像學(簡稱 ADI)資料集。Sarraf 則分别針對 sMRI fMRI 使用卷積神經網絡中有名的 LeNet-5 架構對 AD 樣本進行訓練,分别得到了 98.84% 96.85% 的準确率。
AL-Fatlawi A H ,Jabardi M 等口7J 提出使用深度信念網絡(DBN) 作為有效的診斷技術,這種診斷是基于患者的語音信号建立的。 DBN 用于分類帕金森病時包括兩個堆疊的限制玻璃玻茲曼機 (RBM) 和一個輸出層。需要應用兩個階段的學習來優化網絡的參數第一階段是無監督學習,其使用RBM 來克服可能由于初始權重的随機值而導緻的問題;第二階段,反向傳播算法被用作微調的監督學習。該系統的總體測試精度為 94% 。