雷鋒網按：本文整理自雅森科技進階算法研究員楊士霆，在雷鋒網硬創公開課上的演講，主題為“智能醫學影像分析的前沿與挑戰”。
楊士霆，畢業于台灣長庚大學電機工程研究所博士班，主攻醫學影像處理與應用。研究領域涉及醫學影像處理，生物醫學資訊，醫用光學，類神經與模糊理論，功能性磁振造影，醫學實體與生醫統計。曾在台灣林口長庚醫院，甯波杜比醫療負責影像算法開發工作，現任職于北京雅森科技發展公司，擔任進階算法研究員。
公開課視訊如下：
以下為雷鋒網整理的演講主要文字内容（關注雷鋒網(公衆号：雷鋒網)醫療科技微信公衆号“aihealth”，回複“117”下載下傳完整ppt）：
本次公開課主要分為四部分：
一是醫學成像的概念及其類型與方式，以及人工智能及深度學習等技術的介紹； 二是深度學習如何應用于醫學影像處理等醫療領域； 三是深度學習目前遇到的困難與需要突破的方向； 最後是總結。
近三十年的醫學成像，是一種實用性及創新概念的革命，主要包括兩個部分：
一是硬體發展的突飛猛進，包括mr、ct等硬體的發展，這些成像技術讓我們得到了很好的影像； 二是複雜數學工具的利用，通過這些方式可以對醫學影像進行重建、分析與處理，進而得到清晰可見的醫學圖像。
這兩個部分造就了成像上的進展。
醫學成像主要分為兩個形态：
一是結構性圖像，它主要可以得到組織的結構性特征，但無法看到生物有機代謝的情況；
二是功能性圖像，它可以提示代謝的衰變與下降，或功能性的疾病。
相比結構性圖像，功能性圖像的空間解析度較差。
我們可以透過不一樣的媒體來形成圖像，結構性成像包括：
x-ray，如血管攝影和電腦斷層，它可以看到組織結構； 聲音的方法，如超聲成像； 熒光，它可以用來探讨組織和細胞的形狀與結構； 磁場，如核磁共振，它可以看到腦組織和身體器官的結構； 光學，比如眼底圖像，光學相幹斷層掃描，它可以偵探到身體的結構，幫助診斷。
功能性圖像有：
光子，如用單光子電腦斷層掃描，可以看到代謝狀況，不過沒法看到組織結構； 正子，如正子斷層掃描，它加上一些醫學藥物的應用，可以看到代謝情況，看到惡性良性腫瘤和病竈； 血氧水準，如fmri功能性磁共振； 電流活動，下中圖是腦波圖的方法，透過腦波圖，拓撲到腦部對應位置，可以看到活動狀态下腦部電流改變的狀況； 磁場，與腦波圖類似，通過腦磁圖的方法，用磁場偵探微弱電流，可以感應出大腦中的功能性差異。
關于人工智能，我們一直聽到它将對日常生活産生重要的影響。而如今，計算機已經可以像人類一樣準确地處理圖像與視訊，甚至比人類表現還要好。這些突破主要來自深度學習。
關于深度學習，可以了解為它是機器學習的一個分支，其主要目的是模拟更高層次抽象思維。
深度學習主要是建構大量的抽象層，幫助将一些輸入的訊号映射到更高層的表現方式。例如，處理圖像中，輸入的特征可以是每個像素，可以計算像素的強度，它可能是一組邊緣，也可能是特定的輪廓與區域。透過這些方式可以讓深度學習去達到我們的目的。
深度學習主要有非監督與半監督特征學習，它會分層進行特征提取。
在醫學成像中，要做到精準診斷，對疾病進行評估，需要：
一借助影像裝置擷取圖像，由于近幾年影像裝置的進步，它在診斷上取得了比較好的效果。 二是解讀醫學圖像。現在主要依靠醫師完成，但有一些問題需要克服，比如主觀性，醫師的經驗和訓練不同，在看醫學圖像時有不同方式的解讀與定義；另外醫師的經驗不同，對同一組資料的解讀有較大的差異；而且醫師會疲勞，進而導緻解讀的錯誤。 三是檢測出異常。 四是将想量測的位置進行量化，比如術前術後，讓醫師評估手術前後的差異時，要針對圖像做量化，透過前後資料的差别，協助醫師判斷手術是否成功。
上面提到的四個主要問題，都可以通過深度學習的方式來促進診斷，即将需要治療的地方做明确的辨識，輔助醫師做更有效地診斷，找到病竈。
接下來要講解深度學習技術在醫學影像上的應用。目前醫學影像領域的主要處理内容有：
cad，即計算機輔助診斷，醫師可以據此評估病人的治療情況，以及術前術後的差别等。輔助診斷也可以通過圖像分析的方法，找到惡性良性腫瘤和癌症病竈。 圖像分割，主要是對身體的組織做明确的分割。 圖像配準與圖像融合，這兩者可以一起講。我們知道，圖像有結構性與功能性之分，後者圖像空間解析度差，可以看到組織的代謝情況，但不知道位于組織中的位置。是以需要影像配準與融合，将不同類型的圖像結合在一起，一個提供清晰的結構，一個提供代謝情況，這樣可以了解到組織與器官的病變。 影像導引治療。它可以分成兩類，一是影像導引手術，比如做開腦手術時，癫痫病人會不自主地出現放電異常抽動，用藥物抵制可能沒效果，這就要在大腦中植入電極，而這樣就需要引導的方法，将電極放到正确位置上。二是放射手術治療，即放療，它需要對惡性良性腫瘤的位置做評估，因為放射線可以殺死癌細胞，也可能殺死正常細胞，是以要引導将放療固定在正确的位置，這也就需要醫學圖像的應用。 最後是醫學資料庫的搜尋與擷取，即如何從資料庫中檢索出想要的資料，這些可以通過深度學習的方法處理。
我們為什麼要在醫學圖像上使用深度學習的方法呢？因為圖像有不同形态，來自不同的組織，而如前所述，深度學習可以進行分析與處理，讓一些人為誤差得到調整。通過深度學習提取最主要的特征，它也可以對疾病分類，做圖像分類與分割。
接下來講講深度學習的臨床應用。
上圖中的案例是全自動淋巴結檢測。左邊是縱隔的淋巴結，右邊是腹部淋巴結。可以看到，圖像标定出來的位置中，其實淋巴結有很大的差異，比如形狀與位置不一定，它與周圍的組織也非常類似。
過去傳統的圖像處理，是透過電腦斷層圖像，取得3d的立體影像，然後做影像上的處理分析與應用。比較新的方法是増強式3d haar特征，建立整體完整的檢測器，透過scanning window檢測淋巴結。
但傳統方法表現不佳，主要是次元上的限制。
在前兩年的一篇論文中，有人透過深度學習的方式自動檢測淋巴結。做法是，首先通過随機森林分類器rf，檢測出大概位置并做标定；然後将标定出來的淋巴結，根據矢狀面、橫切面、冠狀面、三維角度，互相正交結合，建立出2.5維的空間投影立體特征。接下來，透過hog特征提取方法，對空間投影圖像進行向量特征截取。然後通過svm訓練方法，将取得的特征做加強和訓練，然後自動檢測出淋巴結位置。
用深度學習的方法做分割，在2015年的一篇文章也有展現。它主要利用卷積神經網絡cnn，自動将大腦灰質、白質、腦脊髓翼自動分割，進而分析大腦的病變。
這篇論文中利用深度學習将不同的病人的資料做分割，精确度都不錯。
具體來說，作者用cnn将不同類型的mri圖像，做有效分割，精确分割灰質、白質、腦脊髓翼。
他們通過cnn，将圖像分成一塊塊patch，然後對完整圖像做學習，訓練與分類。
上面這個研究是海馬回的分割。研究表明，海馬回主要與記憶有關。上圖是用手标定的海馬回的位置，可以看出與淋巴結一樣，它與臨近組織很相近，分割有一定難度。
在2015年的一篇論文中，就有作者通過cnn，用2d patches、三平面patches，以及改良式3d patches的方法，将海馬回進行深度學習，進而分割。左邊是還沒處理的情況，右是明确定位了海馬回的位置。
在光學圖像上，這裡的例子是糖尿病視網膜病變的檢測。一般來說，糖尿病患者容易發生眼部疾病，視網膜血管也會有所改變。上面中間的圖是正常情況，右邊是患者圖像。
是以，在一些研究中用cnn的方法，針對眼底圖像進行糖尿病視網膜病變的辨識。已經可以判斷嚴重的情況。
另外還有深度學習在細胞檢測中的應用。比如2013年的一篇論文，主要是胸部癌症細胞的檢測，标定的是細胞癌症，通過max-pooling cnn，針對胸部組織圖像做有絲分裂的分析。結果顯示，精确度達到了将近9成。
上圖就是針對組織圖像的分析，得到的有線分裂的情況。
另外，還有個很好玩的例子。cnn除了做圖像識别，還可以将3t
mri圖像透過cnn網絡，重建出類7t
mri的圖像。所謂t是指特斯拉，即磁場感應強度。我們醫學中常見的核磁機器是1t和1.5t，而7t是磁場強達7特斯拉，這種裝置昂貴，需要很多的費用，但7t圖像的性噪比強。是以，研究中想通過深度學習将3t變7t圖像。
上圖可以看出，左邊3t圖像中，腦部邊緣有些模糊，但處理過後的右圖變得清晰了。這是用低成本的方法做重建。
以上就是深度學習在醫學影像上的應用案例。那深度學習在應用當中，還有哪方面的挑戰呢？
目前論文的實驗，主要是探讨結構效度的評估，一般是在實驗架構的基礎上，評估cnn配合哪一個patch，哪些在實驗中是好是壞。但沒有思考，在實際使用深度學習的過程當中，表現是否如預期想的那麼好。
使用模型當中，也常常選擇很多不一樣類型的特征去訓練，這個過程中怎麼樣找出好的有效特征？另外，在建構深度學習模型中，如何透過那麼多參數做調整。這些都是深度學習的挑戰。
另外，想要發展一個有效的深度理論學習模型，要基于經驗資料，去調試與評估網絡的效果，這也是主要挑戰的目标。在這個過程中，要評估與測量模型複雜的程度，比如：
一是深度學習過程中有神經元的概念，那到底要多少數量？到底要多少patch？
二是還要考慮計算單元的形态，要放置多少的隐藏層、卷積層？這部分是深度學習要思考的。
三是考慮到模型的架構和拓撲的結構，怎麼樣将cnn與不同類型的機器學習模型，做互相的結合與比較？
四是是怎麼樣有效地将模型産生與建立起來？
最後是學習中效率問題。深度學習早在80年代就有所發展，但由于計算機的限制，其發展也并不如意。最近計算力的進步才将機器學習的機制建立起來。回過頭來看，到了如今的情況，硬體越來越好，那怎麼樣讓學習效率做更有效的配置設定或調整呢？怎麼樣将學習效率調整到比較好的階段，達到很好的結果？這都是深度學習的挑戰。
另外，也需要采集資料的量到底需要有多大？聽到了很多大資料的概念，但mr圖像可能是128*128次元，也有很多的訓練。大的資料量的分析與統計都會影響到大資料分析與學習。怎麼樣做權衡和評估的一個挑戰。
我們需要融合經驗資料，建構深度的理論學習模型，以取得好的評估效果。要做到這些，我們就需要定義一個理論政策，通過這個政策，去評估、調試模型。
在這個過程中，有一個正常化的機制。即最簡單的輸入-隐藏-處理-輸出訓練模型。但我們如何調整順序，使得對模型的調試更加明确、更加正常化，也是值得探讨的地方。
我們在做深度學習的過程中，有個很一緻的概念：我們都希望多放些層，或者減少内容。有時候，可能需要多一些特殊的加成層。但如何明确定義這個概念，使其正常化，也是我們要挑戰的目标。
另一個挑戰是：我們在做深度學習的過程中，最常使用的是非深度學習的架構。那我們要怎樣評估這個架構，找出一個好方法呢？
最後，是關于計算效率。我們先前也有提到，機器效能和資料都會直接或間接影響計算效率。如何取得平衡點，是之後的深度學習研究中很好的一個研究方向。
我們做一個最簡單的總結：深度學習主要用來做什麼？
深度學習有很大的潛力，能分析大量資料，通過學習給出分析結論和答案。是以其應用廣泛，不僅是在醫學影像領域，在其他領域也有很大的貢獻。并且在我們分析大資料時，深度學習可以為我們提供精簡資訊。深度學習的可發展性還是非常大的，還有很多東西值得去挑戰，值得大家一起去探讨。
在2016年rana會議上，深度學習、智能學習非常熱門，醫生們意識到深度學習可以輔助診斷，甚至能幫他們找出更有效的治療方法，并且最近的一些會議中，我們都可以發現深度學習、智能分析的龐大市場和發展潛力
我相信，深度學習在智能醫學影像分析中一定有很大的價值。
本文作者：張馳