引言
基于熒光顯微鏡的圖像恢複在生命科學領域受到了廣泛關注，并取得了重大進展，這得益于深度學習技術。然而，目前大多數任務特異性方法對不同的基于熒光顯微鏡的圖像恢複問題具有有限的通用性。
2024年4月12日，複旦大學顔波團隊在Nature Methods 線上發表題為“Pretraining a foundation model for generalizable fluorescence microscopy-based image restoration”的研究論文，該研究提出了一種基于熒光顯微鏡的通用圖像恢複(UniFMIR)模型來解決不同的恢複問題，并表明UniFMIR具有更高的圖像恢複精度，更好的泛化和更多的通用性。
五項任務和14個資料集的示範，涵蓋了廣泛的顯微鏡成像模式和生物樣本，表明預訓練的UniFMIR可以通過微調有效地将知識轉移到特定情況，揭示清晰的納米級生物分子結構，并促進高品質的成像。這項工作有可能激發和觸發基于熒光顯微鏡的圖像恢複的新研究亮點。
熒光顯微鏡圖像恢複(FMIR)，旨在從低信噪比的圖像中提供高信噪比的圖像，已經受到了研究界的極大關注，因為它有助于揭示重要的納米級成像資訊，以準确觀察和科學分析生物結構和過程。目前，受益于深度學習的快速發展，這方面的貢獻在文獻中大量湧入。許多基于深度學習的基于熒光顯微鏡的圖像恢複工作通過計算突破了熒光顯微鏡的實體極限，并對經典的反卷積算法進行了重大改進。盡管取得了重大進展，但這些基于深度學習的基于熒光顯微鏡的圖像恢複方法仍然受到一些弱點的影響，限制了生物過程的進一步發展。首先，主流模型通過在特定資料集上從頭開始訓練具有有限參數(不超過數百萬)的特定深度模型(例如U-Net啟發模型和 RCAN啟發模型)來解決基于熒光顯微鏡的特定圖像恢複問題，例如去噪、超分辨率(SR)和各向各向重構。此外，這些模型泛化能力較差，當面對不同資料集之間較大的域間隙和不同的基于熒光顯微鏡的圖像恢複問題時，可以觀察到明顯的性能下降。在不同的成像模式、生物樣本和圖像恢複任務中實作有希望的結果需要訓練多個特定的模型。最後，深度學習領域常見的資料依賴問題也影響了大多數基于熒光顯微鏡的圖像恢複模型，由于基于深度學習的方法具有資料驅動的特點，其性能高度依賴于訓練資料的品質和數量。是以，實驗擷取低品質和高品質訓練圖像對的現實困難使得基于深度學習的熒光顯微鏡圖像恢複方法的實際應用變得複雜。
UniFMIR在體積重建中的應用（Credit: Nature Methods）
雖然特定任務或特定模式的深度模型仍然是基于熒光顯微鏡的圖像恢複的主要深度學習方法。盡管單個模型現在可以實作最先進的(SOTA)性能，但基礎模型具有多功能性的優點。上述方法不是為每個任務從頭開始訓練一個新模型，而是證明了基礎模型可以将在預訓練階段在一般資料集中學習的基礎知識民主化，并可以通過微調将這些知識轉移到衆多任務中。預訓練大尺度模型的巨大進步為基于熒光顯微鏡的圖像恢複方法的發展帶來了新的動力。總之，UniFMIR為熒光顯微鏡圖像增強提供了一個通用的解決方案，預訓練的UniFMIR通過簡單的參數微調便可應用于不同任務、成像模式和生物結構，展示了基礎模型方法對生物成像研究的巨大推動作用。在未來工作中，可通過進一步擴充訓練資料的資料量和豐富度來不斷強化UniFMIR的圖像重構能力。
原文連結https://www.nature.com/articles/s41592-024-02244-3
責編|探索君
排版|探索君
文章來源|“iNature”
End