自 2012 年 AlexNet 挑戰 ImageNet 獲得巨大成功以來，用于圖像領域的 深度學習
算法以令人目不暇接的速度飛速演化着。通用圖像領域中，有明确邊界的問題，例如特定類别有标注資料的物體檢測、定位、識别，乃至特定場景的圖像生成、一定精确度内的圖像分割，都出現了令人更新認知的深度學習解答。
目前，站在深度學習研究一線的計算機視覺研究者們，有相當一部分深入到更細分的、與應用場景聯系更緊密的任務中，同時擴充算法能夠覆寫的資料類型。
2018 年，在醫療影像這個分支中，來自加州的人工智能醫療公司體素科技，結合自身産品線的開發路徑，發表了多篇論文，論文探讨了如何利用深度學習算法臨床決策支援：例如用端到端算法處理影像中分割問題、 配準問題，以及如何在标注資料有限，且遷移學習困難的情況下，利用代理監督和聯合訓練獲得更好的模型效果。以下為論文介紹：
3D PDV-Net：端到端的器官分割
器官分割是導航（navigation）的核心任務，算法需要找出正常人器官、病情嚴重的患者器官乃至手術後形态發生顯著變化的器官的位置：這是放療靶區勾畫和病竈量化分析幾乎唯一可依賴的憑據。
現存的肺葉分割方法非常耗時，并需要依賴氣管/血管分割先驗作為初始輸入，且通常還需要與影像科醫生互動才能達到最佳結果。這篇工作提出了一個基于三維漸進密集 V 形深度網絡（progressive dense V-network，PDV-NET）的可靠、快速、且完全自動的肺葉分割模型。利用一台 Nvidia Titan XP GPU，PDV-NET 平均 2 秒就可以通過網絡的一次前向傳播來完成一次肺葉分割，且完全去除了對先驗和任何使用者介入的依賴。
圖：用于肺葉分割的 PDV-net 模型，分割結果逐漸提高直到得到最終結果。
PDV-net 以 Dense V-net 為基礎網絡，結合漸進整體嵌套網絡（progressive holistically-nested networks）而成。網絡主要由 3 條路徑組成，每條路徑都由密集特征子產品（dense feature block，dfb）和卷積層構成，位于前面的 dfb 的輸出通過卷積和下采樣後，會成為之後的 dfb 的輸入。換言之，PDV-net 漸進地提取不同層次的圖像特征，最後以串聯的方式将這些特征結合在一起，得到最終的分割結果。
圖：真值與 U-net、 dense V-Net (DV-Net)、3D progressive dense V-Net (PDV-Net) 的分割結果的定性比較，可以看出 PDV-Net 的結果沒有其他模型會産生的噪聲。顔色标記：杏仁白：LUL，藍：LLL，黃：RUL，青：RML，粉：RLL。
模型在 Lung Image Database Consortium（LIDC）資料集的 84 張胸腔 CT 和 Lung Tissue Research Consortium（LTRC）的 154 張病态胸腔 CT 上進行了測試。模型輸出的肺葉分割的 Dice score 在 LIDC 上達到了 0.939 ± 0.02，在 LTRC 上達到了 0.950 ± 0.01，此測試結果顯著高于 2D U-net model 和 3D dense V-net 的結果。此外，模型在 LOLA11 challenge 的 55 例上測試并達到了 0.935 的 average Dice score，與最佳參賽隊伍的 0.938 相當。
圖：PDV-net 與 2D U-net 和 3D dense V-net 在 LIDC 和 LTRC 資料集上的分割結果 Dice score 比較。
研究者也對模型進行了魯棒性測試，顯示出我們的模型對于健康與疾病的 CT 例、不同的廠家的 CT 機的輸出、以及同一 CT 機的不同 CT 重構設定産生的不同 CT 例均能夠進行可靠的肺葉分割。
該工作獲得醫學影像頂級會議 MICCAI 2018 深度學習影像分析闆塊最佳論文。
基于無監督神經網絡的可變形-仿射混合配準架構
配準（registration）是把不同影像按照生理結構對齊達到重合的目的，用于對比不同檢查中的差異。其中，影像的背景部分可以大刀闊斧地調整，通過變形變換（deformation transformation），把病人每次拍照時因為姿勢的不同、壓到的腔體部位不同而導緻的無法重合問題通過形狀、大小、角度的變換來進行對準，保證多組照片之間互相可比；而病竈部分隻能嚴謹地微調，通過隻有六個空間自由度（dof）的剛體變換（rigid transformation）進行旋轉和位移，保證病竈資訊不損失。
配準可以被分為可變形配準（deformable registration）和仿射配準（affine registration）兩種。目前，深度學習算法已經在可變形配準中獲得了應用，相比于比傳統的方法，在速度上有多個數量級的提高。然而，基于深度學習的可變形配準模型通常需要傳統方法所得的仿射配準進行預配準。這和利用深度學習模型達到快速可變形配準的目的相沖突。此外，現有的深度學習可變形配準模型的訓練必須依賴手動标注的仿射變換真值或者有偏差的仿射變換模拟真值，前者耗費大量時間，後者影響模型的效果。
是以，研究者提出了一個可以利用真實醫療影像進行無監學習的仿射配準模型。在此之上，還提出了一個混合仿射與可變形配準的統一訓練架構。
圖：混合仿射與可變形配準的統一訓練架構。
該方法由仿射配準網絡（ARN）與可變形配準網絡（DRN）組成。ARN 的輸出是描述 3D 仿射變換的 12 個參數，DRN 的輸出是描述每個體素位移的形變向量場。通過将網絡所輸出的仿射和可變形變換作用在有移動的 CT 圖像上并進行線性插值，就可以得到配準後的 CT 圖像。
在模型訓練方面，描述圖像全局相似程度的 Dice score 被直接用作優化的目标；此設計使手工标注或者模拟配準真值過程變得不必要。
圖：（a）固定的與移動後的 CT 對冠狀面（b）ARN 仿射配準結果（c）DRN 可變形配準結果（d）模型輸出的形變場的強度與移動 CT 冠狀面的重合圖。
圖：用肺部重合度表達的配準準确率。ARN+DRN 配準模型較其對應的基準模型在準确率上有顯著提高。
利用代理監督進行預訓練解決标注有限問題
醫療影像和自然影像之間的明顯差異決定了研究者很難利用遷移學習彌補标注資料不足問題：大量用于 CT、MRI 影像的模型是三維的，無法使用 ImageNet 等資料庫進行預訓練，即使是用于病理切片，眼底，皮膚等影像的二維模型，也隻是與自然圖像在空間與色彩次元上保持了一緻，由于圖像内容相差甚遠，遷移學習的作用也十分有限。而另一方面，醫療影像資料的标注難度遠勝于普通圖像，大規模資料集的建立幾乎是無法完成的任務。
給定這樣的現實情況一些研究者選擇以「代理監督」的方法，利用未标注的醫療圖像輔助深度學習模型。
本文中，作者在胸部 CT、眼底圖像和皮膚圖像上，用旋轉、重建和上色這三種代理監督方法，對 4 個不同任務進行了預訓練。
圖：任務及代理監督方法。
研究顯示：
- 當有标注訓練資料較少時，代理監督模型預訓練效果顯著，當有标注訓練資料增多時，代理監督效果減弱。
- 通過代理監督預訓練的深度模型，比在同一訓練集上參數随機初始化的深度模型性能更優。
- 在醫療圖像上進行預訓練的模型，比在自然圖像上進行預訓練的模型進行 遷移學習 後效果更優。這顯示出大量存在的未标注的醫療圖像在模型訓練時還有很多未被開發的價值。
這些研究結論為訓練性能更強的用于醫學圖像分析的深度模型提供了一些可以廣泛應用的準則。
圖：代理監督方法以及目标任務模型示意圖。每格左側的網絡為代理任務，右側的網絡為目标任務。灰色梯形指代未訓練的參數，黃色梯形指代預訓練後的參數。
據了解，該論文已被 ISBI 2019接收。
多任務聯合檢測網絡
傳統的醫療影像識别模型通常采用端對端的分類方式：輸入圖檔，輸出判别結果。但是以皮膚病為例，此類方法在具體場景的應用中有很大的局限性。首先，皮膚病的種類繁多，僅書本記載的皮膚病種就多達數千種，是以用一個單一模型來涵蓋所有的皮膚病及其變種是不現實的。其次，皮膚病的表現複雜。不同的疾病可能出現相似的表現；同樣的疾病在不同人身上、不同部位、不同發病時期，都會有不同的表現。第三，皮膚病的診斷判别通常需要對患者病史、體格檢查、實驗室和其他相關檢查的檢查結果等進行綜合分析，僅從圖檔很難進行準确的皮膚病判别。
針對這一現象，研究者選擇在病種判别之外，引入皮膚損害作為聯合目标，同時關注病竈級别目标和整體圖像的識别，提高模型的能力。
皮膚損害（簡稱皮損）是皮膚病最重要的體征，是對各種皮膚病進行診斷和鑒别的重要依據。相對于皮膚病來說，皮損類型具有種類相對較少（原發性皮損和繼發性皮損共數十種）、皮損分類明确、泛化程度高等優點。根據皮膚病判别的特殊性，體素科技提出了多任務聯合檢測網絡（Multi-task Joint Detection Network）來進行皮膚病的學習。
圖：皮膚病多任務聯合檢測網絡結構示意圖。
該網絡同樣以圖檔作為輸入，但輸出結果包含了皮損類型（Lesion Types）、皮損部位（Lesion Location）、皮損邊框（Lesion Bounding Box）以及綜合以上結果得出的最終皮膚病判别（Skin Conditions)。采用上述網絡，研究者将 100 種常見皮膚病的判别分類模型提高了 10%，并且模型預測的結果更加合理。
References：
[1] Terzopoulos, D., Ding, X., & Tajbakhsh, N. Automatic, Fast, Reliable Lung Lobe Segmentation Using a 3D Progressive Dense V-Network.