（三十五：2021.01.12）MICCAI 2019學習（一）《前列腺近距離放射治療中粒子定位的深度回歸模型》

《A Deep Regression Model for Seed Localizationin Prostate Brachytherapy》

• 講在前面
• 摘要
• 論文内容
• • 1.介紹
  • 2.方法論
  • • 2.1 深度回歸模型
    • 2.2 實作
  • 3. 實驗
  • 4. 總結

講在前面

• 一.目前粒子植入手術面對着術中及術後植入粒子劑量核驗的問題，本人現在已經完成一部分這樣的工作，能夠比較有效的将粒子在空間中進行聚類，結果較為理想但在面對多個粒子僞影重疊的情況下，仍然有較大的誤差存在。剛好找到這篇極具研究價值的論文，希望能了解其精髓思想，盡快複現其内部知識；
• 二.我設計了幾種字型顔色用于更加醒目地表現關鍵的思想和主題：
  • 紅色表示尚未了解透徹的一些概念
  • 藍色表示對原來的了解做的一些修改或補充
  • 綠色表示此處需要參考的論文其他部分
  • 橙色表示本文的重要關鍵字
  • 我會用删除線将自己曾經不到位的了解進行删除

摘要

植入後劑量測定（PID）是前列腺粒子放射治療的重要步驟，利用CT對前列腺進行成像，并使放射性粒子的位置和劑量分布與實際前列腺直接相關。 但是，由于嚴重的金屬僞影和當多個粒子聚集在一起時出現的高度重疊的外觀，是以在CT圖像中識别這些種子是一項非常艱巨的任務。 在本文中，我們提出了一種基于3D深層卷積網絡的自動高效算法，用于識别CT圖像中的植入粒子。我們的方法将粒子定位任務模組化為監督回歸問題，該問題将輸入的CT圖像投影到機率圖上，其中每個元素代表輸入體素屬于屬于對應粒子的機率。 這種深度回歸模型顯着抑制了圖像僞影，使後處理變得更加容易和可控。該方法在大型臨床資料庫中得到了驗證，該資料庫包含100名患者的7820個粒子，其中使用了70名患者的5534個粒子進行了模型訓練和 驗證。 我們的方法正确地檢測了30位測試患者中的2150顆種子，共2286顆（94.1％），與廣泛使用的商用種子搜尋軟體（VariSeed，Varian，Palo Alto，CA）相比，提高了16％。

論文内容

1.介紹

2019年，據估計有174,650例新病例和31,620例死亡，前列腺癌仍然是美國男性中最常見的診斷出的癌症類型。粒子植入物近距離放射治療涉及将放射性源（粒子）永久植入前列腺内，是中低危前列腺癌的标準選擇。盡管在計劃和粒子輸送方面進行了各種改進，但是由于各種因素（例如針頭位置變化，前列腺變形，粒子輸送變化和粒子遷移），實際的輻射劑量分布可能會偏離計劃。 是以，建議采用植入後劑量測定法（PID）以確定植入品質并建立放射劑量與臨床結果之間的關系。PID通常在植入後第30天執行，該操作利用CT對植入區域成像，從中勾勒出前列腺和周圍高危器官（OAR）的輪廓，并确定粒子位置。

植入粒子的準确定位對于量化向這些器官的劑量分布至關重要。 但是，鑒于植入了大量粒子，手動識别這些粒子非常耗時，通常每位患者需要10至20分鐘才能識别60至100顆種子。 是以，對種子定位的精确和自動比對的方法有很大的需求。 如圖1所示，盡管射線在CT圖像上顯示出很高的對比度，但由于以下兩個獨特的特征，自動粒子定位在實際工作中是一項艱巨的任務。大大增加了粒子鑒定的複雜性。 其次，由于粒子傳輸位置的變化和粒子的遷移，一些植入的粒子彼此非常靠近以形成種子簇。 這種高度重疊的外觀使得很難在CT圖像上識别單個種子。

已經開發了幾種自動方法來在CT圖像中定位種子，例如基于幾何的識别方法【Liu, H., et al.: Automatic localization of implanted seeds from post-implant CTimages. Phys Med Biol 48(9), 1191 - 1203 (2003)】和霍夫變換【Holupka, E. J., et al.: An automatic seed finer for brachytherapy CT postplansbased on the Hough transform. Med Phys. 31(9), 2672-2679 (2004)】。最近，Nguyen等人提出了一種級聯方法【Nguyen, H. G., et al.: Automatic 3D seed location and orientation detection in CTimage for prostate brachytherapy. In: IEEE ISBI 2014, pp. 1320-1323. (2014)】，該方法涉及門檻值和關聯成分分析作為種子候選物的初始檢測，然後是一種改進的k均值方法，用于基于先驗強度和體積資訊來分離種子組。 張等人【Zhang, G., et al.: Automatic seed picking for brachytherapy postimplant validationwith 3D CT images. Int J CARS. 12, 1985 - 1993 (2017)】采用灰階檢測和改進的凹點比對，以在基于灰階直方圖的門檻值化之後分離觸摸種子。 所有這些方法都使用需要特殊領域知識的手工制作的功能。 同時，通常引入複雜的預處理和後處理步驟以促進種子定位過程。 結果，這些方法的評估主要是在體模或少量臨床病例的情況下進行的。

圖一：

最近，深卷積神經網絡（CNN）在醫學圖像分析中變得很流行，并且在各種醫學圖像計算任務（例如肺結節檢測，組織學圖像中的腺體執行個體分割，肝和惡性良性腫瘤分割，皮膚病變分割和分類）。 由于直接從原始圖像資料中學習分層特征的能力，CNN通常會産生更好的泛化性能，尤其是在對大型資料集進行評估時。

受到深度學習研究的最新進展的啟發，我們提出了基于深度CNN的新型架構，以在3D CT圖像中自動定位植入的粒子。 我們在本文中的貢獻是三方面的。

• 首先，我們将種子定位模組化為回歸問題，并利用深層CNN的判别力引入全自動解決方案。 據我們所知，這是使用深度神經網絡解決這一艱巨任務的首次嘗試。
• 其次，我們沒有直接預測3D空間中的種子坐标，而是設計了種子位置的機率圖來解決人工識别的不确定性，進而提高了模型預測的魯棒性。
• 最後，我們在大型臨床資料庫中對100名患者的7820顆粒子進行了評估，并與商業粒子搜尋軟體（VariSeed，Varian，Palo Alto，CA）進行了比較。

2.方法論

2.1 深度回歸模型

如圖一所示，紅色的點作為粒子的标簽，每一個點對應一個原始粒子。但是，考慮到粒子有一定的形狀（直徑0.8mm，長度4.5mm），隻要是在粒子上的點，都應該是正确的注釋。結果就是，就種子而言的标簽位置而言，可能和真實情況有很大的變化，如果直接将确切的注釋位置用作學習目标，則這将帶來不必要的挑戰并易于過度拟合。與之不同的是，我們将離散的點标簽轉換成連續的機率圖（ x ∈ R 3 x\in{R^3} x∈R3），進而将粒子的定位問題強制轉換成監督回歸問題，通過這樣的方式，來學習3D CT圖像 I ( x ) I(x) I(x) 和 機率圖 P ( x ) P(x) P(x) 之間的一種映射關系。 P ^ \hat{P} P^是推理出的機率圖， w w w是學習到的權重：

P ^ ( x , w ) = F ( I ( x ) , w ) \hat{P}(x,w) = F(I(x),w) P^(x,w)=F(I(x),w)

對于每一個3D圖像 I i ( x ) I_i(x) Ii​(x)都有它對應的三維點集 C I = C 1 , . . . , C N ( i ) C_I = {C_1,...,C_{N(i)}} CI​=C1​,...,CN(i)​作為其注釋， N ( i ) N(i) N(i)是标注的總共的點數目，我們将GT機率圖定義為給予所提供點的一種核強度估計：

∀ x ∈ I i , P i ( x ) = ∑ C ∈ C i N ( x ; C , Σ ) , Σ = [ σ x 2 0 0 0 σ y 2 0 0 0 σ z 2 ] (1) \forall{x} \in{I_i, P_i(x)}=\sum_{C\in{C_i}}N(x;C,\Sigma), \Sigma= \left[ \begin{matrix} {\sigma_x^2} & 0 & 0 \\ 0 & {\sigma_y^2}& 0 \\ 0 & 0 & {\sigma_z^2} \end{matrix} \right] \tag{1} ∀x∈Ii​,Pi​(x)=C∈Ci​∑​N(x;C,Σ),Σ=⎣⎡​σx2​00​0σy2​0​00σz2​​⎦⎤​(1)

對這些參數做些解釋：

• x x x: 代表 I i I_i Ii​的某個體素的坐标；
• N ( x ； C , Σ ) N(x；C,\Sigma) N(x；C,Σ)：在 x x x 這個體素位置的歸一化高斯核；
• C C C：均值，也就是标簽；
• Σ \Sigma Σ：方差，對角矩陣；

• σ x , σ y , σ z \sigma_x,\sigma_y,\sigma_z σx​,σy​,σz​：考慮到粒子的大小形狀和CT圖像本身的影響，在研究中設定： σ x = σ y = 1 m m , σ z = 2 m m \sigma_x=\sigma_y=1mm, \sigma_z=2mm σx​=σy​=1mm,σz​=2mm。

  **圖二（a）**顯示了從圖一認為标簽點中建立機率圖，**圖二（b）**是對應的深度回歸模型推理出來的機率圖。

  圖二：

  

  我們訓練一個深度回歸且對稱的編解碼網絡（DRN）來将輸入的CT圖像映射為機率圖，就像圖三顯示的這樣：

  圖三：

  

  我們在編碼器階段使用卷積層和最大池化層來聚合圖像資訊，在解碼器階段使用轉置卷積來恢複原始的圖像資訊。每層卷積之後是BN層和ReLU層來促進反向傳播。同時使用跳躍連結來聚合高低級像素的圖像資訊。通過明确地組合低級和進階功能，DRN從本地和全局上下文資訊中受益，以重建粒子位置的更精确機率圖。 考慮到目标機率圖是非負的，我們在最後的卷積層中使用 softplus 作為激活函數以確定DRN的正輸出，其函數和ReLU十分相近：

  s o f t p l u s ( x ) = 1 β ⋅ ( l o g ( 1 + e x p β ⋅ x ) ) softplus(x)=\frac{1}{\beta}\cdot(log(1+exp^{\beta\cdot{x}})) softplus(x)=β1​⋅(log(1+expβ⋅x))

  在我們的研究中，将 β \beta β設定為1，卷積核大小為3，步長為1，但是轉置卷積因為要進行上采樣，是以卷積核大小核步長都設定為2。為了保證卷積過程中相同的次元，使用0填充，所有的操作都是在3D的空間上操作的。

  訓練DRN的目的是為了使得預測值和真是标簽之間的損失越來越小，由于大部分的體素都屬于背景，DRN傾向于更多地關注學習背景，而不是高斯型粒子标簽。為了解釋這種前後景的不平衡，我們使用權重的MSE作為損失函數，權重為目标機率圖 P ( x ) P(x) P(x)：

  L ( w ) = 1 N ⋅ ∑ n = 1 N [ P ( x n ) ( P ( x n ) − P ^ ( x n , w ) ) ] (3) L(w)=\frac{1}{N}\cdot{\sum^{N}_{n=1}[P(x_n)(P(x_n)-\hat{P}(x_n,w))]}\tag{3} L(w)=N1​⋅n=1∑N​[P(xn​)(P(xn​)−P^(xn​,w))](3)

  N N N 是一個mini batch中訓練的體素總數。

2.2 實作

我們的DRN是使用Pytorch（v.0.4）實作的。 使用Adam随機優化方法（batchsize為4），訓練DRN從頭開始進行了500次疊代。初始學習率設定為0.003，并且當驗證損失停止減少時使用學習率衰減和早期停止政策。 為了減少過度拟合，我們随機地向左/向右，上/下和前/後方向翻轉以進行資料增強。 我們使用七折交叉驗證來評估模型在訓練資料集上的性能，其中還通過網格搜尋實驗确定了一些超參數。 所有實驗均在裝有四個Nvidia GTX 1080 TIGPU的工作站上進行。

對于預處理，我們僅将所有CT掃描的體素值截斷到[-80,175] HU範圍内，以消除無關的圖像資訊。将CT圖像各向同性重采樣為0.5 mm，ROI的體積為 從整個CT圖像中提取以前列腺為中心的128×128×96（VOI）作為DRN的輸入。 在推理過程中，按照與訓練資料準備相同的步驟對新的CT圖像進行預處理，然後将訓練後的DRN應用于VOI以生成3D機率圖。 我們使用3D分水嶺分割算法将機率圖轉換為最終粒子位置。

3. 實驗

我們在機構中收集了2008年至2019年接受種子植入近距離放射治療的100名前列腺癌患者的資料庫。 植入的粒子（钯103）的數量從48到156不等。随機選擇了70例具有5534粒子的患者進行模型訓練和驗證，而剩下的30例具有2286種子的患者被保留用于獨立測試。 植入後30天對每位患者進行ACT掃描，面内分辨率為0.6×0.6至1.4×1.4 mm，切片厚度為2.5至3.0 mm。

通過半自動程式獲得GT，其中VariSeed 種子查找器算法首先用于搜尋CT圖像中前列腺區域附近的植入種子。 由于此自動程式通常會導緻一些錯誤的粒子放置，是以需要使用者幹預才能根據CT圖像中的粒子位置校正這些錯誤。 放射惡性良性腫瘤學家最終準許了種子的定位以及重建的輻射劑量分布。

圖4分别以軸向，矢狀冠狀面圖顯示了CT圖像中PID研究的兩個示例，其中在患者（a）中植入了77顆種子，在（b）中植入了143顆種子。 還顯示了機率圖的相應DRN預測。 清楚地表明，金屬僞影和粒子重疊外觀被顯着抑制，這使得粒子定位更加容易。 右邊的圖顯示了GT的3D分布以及DRN識别的粒子。 總體而言，DRN花了大約60秒鐘恢複30位測試患者的植入種子數量。 中值對距離為0.70毫米[25％-75％：0.36-1.28毫米]。

圖四：

表1詳細列出了DRN和VariSeed查找器粒子檢測之間的比較，其中第一行和第四行列出了植入種子的數量。 對于大量植入的種子（從48顆到143顆），DRN幾乎在每位患者上都大大超過了VariSeed。總體而言，DRN在30位測試患者的2286顆種子中正确地識别出2150顆種子（94.1％），達到了16％ 與VariSeed相比有所改善（81.0％）。

表一：

4. 總結

在本文中，我們在基于CT的植入後劑量學研究中對接受前列腺近距離放射治療的患者進行深度學習在識别放射性粒子任務中的應用開創了先河。 盡管在CT圖像中進行粒子定位存在挑戰，但與大型臨床資料庫上廣泛使用的商業軟體相比，提出的深度回歸模型實作了更高的檢測準确性。 而且，我們的模型被發現非常有效，一個新的測試用例平均要花2秒的時間。 我們的方法無需在每個種子上手動繪制3D邊界框或蒙版，而僅需要将點注釋作為地面實況進行模型訓練，進而大大簡化了資料标記過程。 這種弱監督的學習架構可以輕松地推廣到其他對象檢測任務，例如2D / 3D實時成像中的監護标記跟蹤以及高劑量率（HDR）近距離放射治療中的源/導管定位。