開啟《Medical Image Recognition,Segmentation and Parsing》一書的翻譯和學習。
該書由周志華老師撰寫，出版于2016年。周老師之前是西門子算法的最進階别科學家，現回中科院計算所當教授了，對整個醫療領域的工業和學術屆都有着很深的了解。
目錄
第一章：醫學影像識别、分割和語義了解的介紹
1.介紹
1.2 挑戰和機會
1.3 從粗糙到精确的目标表示
1.4 簡單到複雜的機率模組化
1.4.1 鍊式法則
1.4.2 貝葉斯法則，機率模組化和基于能量的方法的等價性
1.4.3 實用的醫學影像識别、分割和語義了解算法
1.5 使用機器學習方法進行醫學影像識别
1.5.1 目标檢測和上下文
1.5.2 機器學習方法
1.6 醫學圖像分割方法
1.6.1 簡單圖像分割方法
1.6.2 活動輪廓方法（Active Contour）
1.6.3 變分法
1.6.4 水準集（Level Set）
1.6.5 主動形狀模型（ASMs）和主動外觀模型（AAMs）
1.6.6 圖割算法（Graph Cut）
1.7 總結
Chapter 1：INTRODUCTION TO MEDICAL IMAGE RECOGNITION, SEGMENTATION, AND PARSING
第一章：醫學影像識别、分割和語義了解的介紹
1.介紹
醫學影像的識别（recognition）、分割（segmentation）和語義了解（parsing）是醫學影像分析的核心任務。醫學影像識别是指識别醫學圖像中的目标。理論上，目标的識别并不需要對目标進行檢測或定位；但是實際上，通常會結合檢測和定位去輔助完成目辨別别。一旦完成識别，或檢測，即得到了目标的最小外包矩形框（bounding box），就可以通過分割的任務尋找目标物體的精确邊界。當圖像中存在多個目标物體，對多個目标的分割就變成了語義了解的任務，以對2D圖像或3D圖像中的像素賦予語義标簽（semantic labels）的形式。通過将同一實體的像素或體素打上相同的标簽，就完成了該物體的分割。
有效的圖像識别、分割和語義了解方法能給臨床帶來很大的益處。以下重點圍繞其對影像掃描、影像讀片、進階量化和模組化幾方面說：
- 掃描：CT和MRI掃描裝置在掃描圖像的時候需要設定大量的參數和協定，針對不同病人的掃描，因為需要針對想的設定參數和協定，導緻掃描的圖像的圖像品質有很大的差異。高吞吐量掃描是為了節省成本。保護病人避免接受過多的輻射也是CT掃描關注的點。一個理想的診斷CT掃描是有針對性的對患者的特定區域進行的，不多（減少劑量）不少（擷取足夠資訊）。是以，從偵察圖像（預掃描圖像）中有效準确的檢測到待掃描器官的位置，能夠使實際掃描過程中患者接受到更少的輻射、減少時間和成本，增加多次掃描的一緻性。
- 讀片用于診斷、治療二和手術計劃：讀片過程中，當醫生在特定部位或器官上查找病變時，放射科醫生需要将體素調整到目标位置。發現病竈後，醫生需要生成報告。醫學影像的語義分析能夠将讀片和生成報告結構化為一個線型工作流，進而提高讀片的效率、精度。醫學影像語義分析也是放射治療、幹預和外科手術在手術規劃中的先決條件。
- 進階量化和模組化：如組織體積等臨床參數測量，對疾病診斷非常重要。在沒有智能後處理軟體的協助下，手動的去定義目标并進行參數的測量，在3D的醫學影像中，是非常費時間的。自動影像語義分析也能克服多次讀片出現不一緻結果的情況。最後一點，基于3D目标的分割，使得生物力學和血液動力學模組化分析變得可行。
醫學影像解析系統的終極目标，是通過解析複雜的語義，和人體解剖基礎模型（FMA）進行比對，将人體結構符号表示為人類可了解的形式，并且機器系統能夠導航、解析和解釋的。生物醫學科學領域最大的計算機知識庫中，包含大約75000個種類，超過120000項，2.1百萬的關系實體，來源于168中關系類型，将FMA類别連接配接成為一個連貫的符号模型。Terminologica Anatomica是更簡單一些的表示模型，是人類解剖屬于的國際标準，包含7500中器官結構。
目前的醫學影像識别、分割和配準技術離終極目标還很遠，主要關注一下語義目标：
- 1.解剖标記點（Anatomical landmarks）：人體掃描中，解剖結構資訊明确的點，如肝髒頂部、主動脈弓、恥骨聯合等。
- 2.主要器官：肝髒、肺、腎髒、脾髒、胰腺、膀胱、直腸等。
- 3.主要骨結構：肋骨、椎骨、盆骨、股骨、胫骨、排骨、頭骨、下颚骨、手和足骨結構等。
- 4.病竈、結節等。包括肝髒和腎髒損傷、肺結節、淋巴結等。
1.2 挑戰和機會
醫學影像分析的臨床應用面臨着巨大的挑戰。主要的挑戰來源于解剖目标的形狀和外觀存在很大的差異，主要由以下因素造成：
- 傳感器噪聲/僞音：醫學裝置本身的實體噪聲和圖像重建誤差。圖像為僞影的大小取決于圖像的模态和成像參數設定。例如，高劑量掃描的CT圖像僞影很小，但是低劑量成像CT則含有很多噪聲。另外嗎，金屬物體（如體内植入物）會在CT影像中産生僞影。在MRI掃描中，僞影來源于磁場本身的不均勻性，梯度的非線性性等。
- 患者個體差異和患者的移動：患者之間存在體型差異：胖或瘦、高或矮、成年人或小孩等。是以，解剖結構上會有差異。另外，因為患者的呼吸、心跳周期、血液和腦脊髓液的流動、蠕動、吞咽，和其他的自行運動，都會導緻産生不同的影像、導緻不同的解剖形變。
- 病理狀态，手術和造影劑：病理狀态會導緻更大程度的解剖解剖形變。這導緻統計模組化變得非常困難。為了更好地了解潛在的情況，造影劑通常用來為一些特定結構造影使其更好的可視化。造影劑注入後的不同時間圖像的表現會不同（造影劑在體内的代謝）。最後，手術切除等會直接完全的改變解剖目标的形狀。
- 部分掃描和視野：劑量輻射是CT掃描中的重要關注點。為了減少劑量，隻對必須要掃描的部分進行掃描。這樣會産生視野很小的部分掃描圖像，導緻解剖上下文資訊很弱，甚至完全沒有。是以，标記點或器官不可見或部分可見。在MRI掃描中，為了加快掃描速度通常隻進行最小範圍的掃描。
- 軟組織：内部的一些器官都是具有相似特征的軟組織，他們（如肝髒和腎髒）互相接觸，之間的邊界資訊非常弱。但是又必須将這些器官不重疊的分割出來。
圖1.1（1）展示了3D CT影像下各種情況的不同表現。（b）展示了各種膝關節病理狀況。
圖 1.1 （a）舉例：CT圖像下不同人體區域，嚴重病例，造影劑，弱對比度等的圖像
圖 1.1 (b)不同膝關節病理CT圖像，從左到右，從上到下：股骨和胫骨接觸，股骨内含金屬植入物，有嚴重缺損的股骨，骨質酥松，未成年人股骨骨質酥松，股骨和髌骨接觸題
醫學影像的另一個挑戰是臨床應用對精度、穩定性和速度的嚴格要求。讀片和診斷通常不允許出錯。盡管要求很高的精度和穩定性，速度仍不能慢，一個快速的工作流能夠確定醫院的高吞吐量。放射科和外科醫生不會願意話幾個小時甚至幾分鐘去等待一個分析結果。
面臨挑戰，必須探索機遇來應對，目前主要包含以下兩個機遇：
- 大資料：醫學掃描越來越常見。例如，2005年在美國大約有57百萬個體接受了CT檢查。到2012年數量超過85百萬。大量資料中展現出來的特異性情況，非常具有統計學意義。
- 解剖上下文：不想自然圖像，醫學影像具有很強的上下文資訊，例如有限數量的解剖目标，限制和結構化的背景，不同解剖結構之間的關系，強先驗姿态參數資訊等。
根據這些機遇，能夠通過大量資料擷取這樣的上下文資訊的統計機器學習方法非常适用于醫學影像處理。這本書全文的方法都基于機器學習，還包括對多目标的處理。
1.3 從粗糙到精确的目标表示
任何一個智能系統都開始于一個可了解的知識表示（knowledge representation，KR）。KR起到的最基本作用是“它可以代替物體本身。這就會引出一個精确度的問題：它能夠多精确的表示真實的物體？物體最完整的精确表示就是物體它本身，任何其他的表示都是不準确的，它們不可避免地會包括一些的簡化假設”。
在相關文獻中，有各種不同的簡化假設來近似表示醫學目标或解剖結構。圖1.2展示了文獻中常用的不同的形狀表示。
- 剛體表示：最簡單的表示是平移模闆到目标中心t=[tx,ty,tz]，也就是說隻考慮目标中心這一參數。完整的剛體表示平移、旋轉和縮放參數θ=[t,r,s]。如果縮放參數是各向同性的（各個方向上縮放的尺度應該一緻），剛體變換變為條件更嚴格的相似變換。剛體變換的擴充是仿射變換。
- 自由形式表示：圖1.2（c-e）展示了常用的自由形式表示，包括基于點的表示（2D曲線S和3D曲面M），Mask函數φ(x, y, z)，水準集函數φ(x, y, z)等。
- 低次元參數表示：也叫做統計形狀模型（statistical shape model，SSM），如圖1.2（f）所示，是一種常用的基于點的自由形式形狀的PCA分析的低次元參數模型。其他的低次元參數表示包括M-rep，球函數（spherical harmonics，SPHARM），球面小波（spherical wavelets）等。
圖 1.2 以2D形狀為例，舉例不同形狀表示。（a）剛體表示（僅平移，t=[tx,ty]）；（b）剛體表示（θ=[tx,ty,r,sx,sy]）；（c）自由形式表示；（4）自由形式表示：2D二值掩膜函數（e）自由形式表示：2D真值水準集方程（f）低次元參數表示：PCA投影
KR是能夠用于高效計算的一種媒介。是以，采用分層次的，從粗到精的表示以逐漸逼近物體本身、逐漸提高精度的方式，會使得計算量更可觀。
一種常用的從粗到精的3D物體表示由以下幾部分組成：
- 剛體部分：平移、旋轉、尺度縮放參數θ=[t,r,s]
- 低維參數部分，如PCA形狀空間（由PCA的主特征系數λ=λ(1：m)表示）
- 自由形式非剛體部分，如3D形狀S，3D曲面M，或3D Mask或水準集函數φ。
(1.1)
PCA形狀空間通過線性投影描述一個形狀：
(1.2)
S0表示平均形狀，Sm表示第m個主特征形狀。PCA形狀模組化形成基本的主動形狀模型（Active shape model，ASM）。在這個分層次的表示中，高階的特征對應的自由形式部分，也能夠做到層粗到精。對于3D曲面，曲面的頂點密度可以通過參數控制，從稀疏到密集。對于水準集函數，從粗到精需要通過控制乳香分辨率實作。
1.4 簡單到複雜的機率模組化
通過3D體素分析單目标物體O，可以表示為後驗分布P(O|V)。一旦P(O|V)已知，可以使用最小均方誤差估計方法（條件均值）、最大後驗估計方法（條件模式），或後驗函數，對物體進行分析。對于多個目标
，後驗分布可表示為
。
1.4.1 鍊式法則
當使用粗到精的表示去表示目标O，對整個物體進行聯合模組化是很難且低效的。為解決這一問題，常用的方式是采用簡單到複雜的模組化方式，将複雜的任務分解成多個簡單的任務。對每一個簡單的任務，能容易進行有效的模組化。
采用鍊式法則，将聯合分布分解成為多個條件機率：
(1.3)
這就将整個任務分解成為三個更簡單的任務。第一個任務将目标當做剛體進行分析，也可認為是目标檢測或識别，使用P(θ|V)；第二個任務是則考慮物體的低些低維形狀參數，表示為P(λ|V,θ)；第三個任務則将考慮整個完整的物體，表示為P(S|V,θ,λ)，解決分割問題。
實際上，對于單個目标O，完整的對其3D姿态進行有效的模組化也是很難的。也可以使用簡單到複雜的模組化方式：
(1.4)
邊緣空間學習（Marginal space learning，MSL）采用了這樣一種政策。
處理多目标
問題時，也能采用鍊式法則：
(1.5)
公式（1.5）中的每一個條件機率，還能通過公司（1.3）和（1.4）進步不分解成更簡單的任務，結合公式（1.3）-（1.5），就形成了一個通用的計算流程，這個流程中隻關注一系列的簡單任務，示意圖如圖1.3（a）。
1.4.2 貝葉斯法則，機率模組化和基于能量的方法的等價性
根據貝葉斯法則，後驗機率P(O|V)正比于似然函數P(V|O)和先驗機率P(O)，
(1.6)
基于能量的方法是通過最小化能量函數
，由兩部分組成。第一部分
和目标O的影像V相關，第二部分
代表物體的先驗知識：
(1.7)
令：
則機率模型的方法和基于能量的方法就是等價的。前面的讨論中，我們雖然是通過一個完整的目标物體O進行舉例，但即使在針對非完整的部分物體等派生情況下依然适用。
将貝葉斯法則和鍊式法則相結合，就能夠實作對目标的外形進行完整模組化、表示目标的不同層次的先驗知識、使用不同的模型。
1.4.3 實用的醫學影像識别、分割和語義了解算法
實用算法通常隻是以上計算通用架構中的特例。其差別取決于以下兩個方面：
- 計算架構的差異：取決于所做的獨立假設，或所選的表示方式，實用算法有針對性的修改或簡化架構。如，如果隻關心單物體的檢測，計算架構可簡化為圖1.3（b）。圖1.3（c）展示的是MSL方法用于3D剛體目标檢測的計算流程。圖1.3（d）展示了完整的單目标分割流程，從剛體檢測和識别，到參數形變分割，再到自由形狀分割。圖1.3（e）展示了處理多目标的架構，圖示中，不同目标之間的條件依賴僅假設在剛體和低次元參數部分存在；是以各物體是獨立被分析的。最後，聯合自由形式分割對所有的目标形狀一起進行。
圖1.3 （a）醫學影像識别、分割和語義分析的通用計算流程，基于從精到粗的表示，從簡單到複雜的模組化；
（b-e）一些特定情況的計算流程
條件機率的模組化方式：性能優越的算法需要對條件機率進行有效的模組化。對醫學影像識别和檢測，機器學習方法能夠提煉影像中的解剖資訊。1.5節中定義了解剖上下文的概念，并簡要的介紹了多種機器學習方法如何對解剖資訊進行模組化。目标分割在目标檢測之後。1.6節例舉了經典的圖像分割方法，基于其各自獨特的目标表示方式，這些方法各自有各自的模組化方式。縱觀整本書，書中每個章節都會從它各自的模組化方式，或從一個通用的理論視角、特定的應用場景，進行讨論。
1.5 使用機器學習方法進行醫學影像識别
1.5.1 目标檢測和上下文
考慮從三張圖檔中檢測人眼的任務，如圖1.4。圖1.4（a）中目标雜亂排列，為檢測其中的人眼，一種方法是從左到右從上到下，逐像素的檢查人眼的位置。但是，為檢測圖1.4（c）中完整人臉中的眼睛，是可以通過結合圖像人臉的結構資訊，以更高效的方式實作的。醫學影像就是一種富含解剖結構資訊的圖像，這種資訊被稱為解剖上下文（Anatomical Context）。為檢測圖1.4（b）中的眼睛兩眼之間的相對關系可以利用起來。換句話說，左眼一旦被檢測了，右眼的檢測會變得更簡單。
上下文資訊可被粗略的氛圍三種類型，分别叫做單一的/局部的、成對的/高階的、整體的\全局的。
- 單一/局部資訊：但物體周圍的局部特征
- 成對/高階資訊：兩物體或多物體之間的聯合特征
- 整體/全局資訊：一群目标之間的關系，所有像素、目标，将圖像視為一個整體。
不同的檢測方法基本都是在離線模型學習複雜度和線上計算複雜度之間做權衡，取決于需要挖掘曲中多少上下文資訊。
1.5.2 機器學習方法
1.5.2.1 分類
1.5.2.2 回歸
1.6 醫學圖像分割方法
1.6.1 簡單圖像分割方法
1.6.2 活動輪廓方法（Active Contour）
1.6.3 變分法
1.6.4 水準集（Level Set）
1.6.5 主動形狀模型（ASMs）和主動外觀模型（AAMs）
1.6.6 圖割算法（Graph Cut）
1.7 總結
（未完待續...）