今天給大家介紹多倫多大學的研究人員發表在nature machine intelligence上的一篇文章。文章指出McKinney等人利用AI在乳腺癌篩選上的工作，缺乏研究方法和代碼實作的細節，阻礙了透明且可重複（transparent and reproducible）的AI研究，文章為掃除這些障礙提供了解決方案。
1.背景
McKinney等人的工作證明了AI在醫學成像中的潛力，同時指出了使此類工作具有可重複性所面臨的挑戰。McKinney等人認為他們的系統提高了乳腺癌篩查的速度和健壯性，可以推廣到訓練集以外的人群，并且在特定環境中的表現優于放射科醫生。經過成功的臨床驗證并獲得監管機構的準許，此新系統具有簡化臨床工作流程，減少假陽性和改善患者預後的巨大潛力。但是，由于缺乏足夠的文獻記錄方法和計算機代碼，系統的科學價值大受影響，也限制了其他人對此工作的驗證，無法為臨床實施此類技術提供必要依據。通過讨論McKinney等人面臨的透明且可重複（transparent and reproducible）AI研究的障礙，作者提供了對更廣泛領域具有潛在意義的解決方案。
2.編碼障礙
科學進步取決于獨立研究人員是否有能力仔細審查研究結果、利用研究材料再現研究的主要結果，以及在未來研究中加以利用。文獻記載不足的研究成果不符合科學發現的核心要求。僅僅是深度學習模型的文本描述可能掩蓋了其高度的複雜性，計算機代碼中的細微差别也可能會對結果的訓練和評估産生明顯的影響，進而導緻意想不到的後果。是以，用于訓練模型并得出其最終參數集的實際計算機代碼的透明度對于研究可重複性至關重要。
McKinney等人表明，用于訓練模型的代碼“大量依賴于内部工具，基礎架構和硬體”，并聲稱是以不可能釋出代碼。計算重制性對于高品質AI的應用是必不可少的，更複雜的方法要求更透明。在沒有代碼的情況下，可重制性依賴于從文本描述中複制方法。盡管McKinney等人聲稱在他們文章中的補充方法部分對所有實驗和實作的細節進行了足夠詳細的描述，以“支援使用非專有庫的複制”，但仍缺乏有關其分析的關鍵細節。即使進行了廣泛的描述，僅基于文本來複制複雜的計算流程也是一項具有挑戰性的任務。
除了純文字描述方法固有的可重複性挑戰外，McKinney等人的關于模型開發以及資料處理和訓練政策中缺少關鍵的細節，缺少模型架構的幾個超參數的定義，沒有透露訓練政策和增強政策的細節，所使用的轉換是随機的，這會大大影響模型的性能。沒有這些關鍵資訊，就不可能獨立複制訓練過程。
作者介紹了許多使人工智能研究更加透明的架構和平台，包括Bitbucket，GitHub和GitLab的這類可以共享代碼的工具。作者還建立了一些小的人工示例，或者使用了一些小的公共資料集來顯示如何處理新資料以訓練模型并生成預測。除了隐私問題外，共享模型架構以及學習參數很容易達成，隐私可能會洩露有關用于訓練模型的患者的敏感資訊，但是存在用于實作差異隐私的技術來減輕這種擔憂。許多學習模型，包括TensorFlow Hub，ModelHub.ai，ModelDepot和Model Zoo，并支援多個架構（例如PyTorch和Caffe）以及原作者使用的TensorFlow庫。除了改善可通路性和透明度之外，此類資源還可以大大加速模型開發，驗證以及向生産和臨床實施的過渡。
3.資料障礙
作者認為確定可重複性的另一個關鍵方面在于模型所使用的資料。McKinney等人在他們的研究中使用了兩個獲得許可的大型資料集，并在他們的論文中适當地解釋了這一限制。由于隐私問題，對患者健康資訊的共享受到嚴格監管。盡管存在這些挑戰，但原始資料的共享在生物醫學文獻中已變得越來越普遍，從2000年代初的不足1％增長到如今的20％。如果無法共享資料，則應釋出模型預測和資料标簽本身，以便進行進一步的統計分析。最重要的是，對資料隐私的關注不應當作為一種避免釋出代碼要求的方式。
盡管人們普遍認為共享代碼和資料是科學研究的關鍵部分，但在各個領域，采用情況卻有所不同。在基因組學等領域，數十年來共享了複雜的計算政策和敏感資料集，與基因組資料有關的指導方針清晰，詳細，并有效地得到執行。通常來說，所有代碼和資料都與出版物一起釋出。從整體上看，在醫學和科學的其他領域中，這種情況要少得多，很少提供資料和代碼。作者認為，對于可以預見臨床應用并危及人類生命的科學研究，透明度的标準應該更高。如果由于許可或其他不可克服的問題而無法與整個科學界共享資料集，則至少應設定一種機制，以使某些獨立研究人員可以通路資料并驗證分析。
4.結論
在重要的科學出版物中缺少對代碼和資料的通路可能會導緻不必要的甚至潛在有害的臨床試驗。這些不幸的教訓并沒有在期刊編輯及其讀者身上消失。期刊有義務使作者遵守可再現性标準，這不僅使其他研究人員受益，也使作者本身受益。使自己的方法具有可在現性，可能會在出版之前對作者造成一些偏見或不足。但防止對模型進行外部驗證則會降低其影響，因為它會阻止其他研究人員在将來的研究中使用和建立模型。
作者指出我們對AI方法在醫學上的應用寄予厚望，但是要確定這些方法發揮其潛力，這就要求這些研究在科學上是可重複，是透明的，這樣才能擴大已釋出的深度學習算法的影響力，并使新的研究方法在臨床環境上加速轉化。