論文閱讀筆記：Self-supervised learning for medical image analysis using image context restoration

來源	Medical Image Analysis
标題	Self-supervised learning for medical image analysis using image context restoration
作者機關	倫敦帝國理工學院計算系，日本名古屋大學資訊學研究所
方法簡介	提出了一種基于上下文還原的新型自監督學習政策，以更好地利用未标記的圖像。在一張醫學圖像中，随機選取10個大小、形狀相同的patch，将這10個patch的位置進行打亂，訓練網絡将這10個patch進行位置還原。将這種自監督訓練方式訓練好的網絡，用于胎兒健康評估、腹部多器官定位和腦惡性良性腫瘤分割的下遊任務中，都取得了很好的結果。
試驗資料和主要結果	三個資料集： 1. 胎兒健康評估2D US資料集，包括2694例18至22周胎齡胎兒的2D超聲檢查 2. 腹部多器官定位 3D CT資料集，包括150位受試者的3D腹部CT圖像 3. 腦惡性良性腫瘤分割 3D 多模态MRI資料集，包含285例多模态MRI資料 主要結果： 對于小資料量資料集，本研究提出的上下文還原預訓練政策可以在基線模型基礎之上顯着提高性能。 本研究提出的自監督學習方式，與其他自監督方式（Random，Random + augmentation，Auto-encoder，Relative positions，Jigsaw，Context prediction，Context restoration）相比，在三項任務上均獲得了更好的表現。
研究借鑒意義	1. 本研究中提出的上下文還原自監督模式，實際上是Jigsaw puzzle模式的一種變體。Jigsaw puzzle是将整張圖像剪裁成例如3*3排列的patch，然後進行打亂重排；而本研究提出的上下文還原模式，是選擇10個不同位置的小patch進行打亂重排。 2. 雖然文中用到的腹部CT圖像和腦惡性良性腫瘤MRI圖像都是3D的，但在自監督訓練過程中，本文都是基于2D切片進行選patch，打亂重排預訓練網絡。另一篇文章也是如此。可能對3D圖像直接進行切割打亂重排，需要更多的計算機記憶體支援，是以目前沒有基于3D patch的自監督政策研究。 3. 本研究的資料集的選取非常合理。三個資料集，囊括了醫學領域中常見的US, CT，MRI三種模态的資料，也囊括了計算機視覺領域常見的分類，定位，分割三種任務。