熒光顯微鏡是生命科學領域不可或缺的重要研究工具，其原理是以紫外線為光源， 照射被檢物體使之發出熒光， 然後在顯微鏡下觀察物體的形狀及其所在位置，可用于研究細胞内物質的吸收、運輸，化學物質的分布及定位等。
然而，激發光下的高強度曝露會通過光化學過程直接或間接對細胞造成影響。在長時間活細胞實驗中，最好能以最小的光曝露進行熒光觀察。但同時，較低的曝光會導緻熒光信号較弱，降低圖像信噪比 (SNR)，讓定量圖像分析難度增加。
是以，基于熒光顯微鏡的圖像恢複 (FMIR) 在生命科學領域受到了廣泛關注，它旨在從低信噪比的圖像中獲得高信噪比的圖像，有助于揭示重要的納米級成像資訊。
目前，受益于人工智能技術的快速發展，許多基于深度學習的 FMIR 突破了熒光顯微鏡的實體極限，取得了重大進展，但主流模型仍存在泛化能力差、資料依賴性強等挑戰。
對此，來自複旦大學計算機科學技術學院的研究團隊在 Nature Methods 上發表了題為「Pretraining a foundation model for generalizable fluorescence microscopy-based image restoration」 的論文，提出的跨任務、多元度圖像增強基礎 AI 模型 UniFMIR，不但實作了對現有熒光顯微成像極限的突破，而且為熒光顯微鏡圖像增強提供了一個通用的解決方案。
研究亮點：
* UniFMIR 模型大幅提升了「圖像超分辨率、各向同性重構、3D 去噪、表面投影和體積重建」五大任務方向上的性能
* 突破現有熒光顯微成像極限
* 通過簡單的參數微調便可應用于不同任務、成像模式和生物結構
論文位址：
https://www.nature.com/articles/s41592-024-02244-3
關注公衆号，背景回複「顯微成像」擷取完整 PDF
資料集：30 GB、196,418 對訓練樣本
研究人員從 14 個公共資料集中收集了一個大型訓練資料集 (約 30 GB)，其中包括 196,418 對訓練樣本，涵蓋了廣泛的成像模态、生物樣本和圖像恢複任務。同時，研究人員還針對不同的基于熒光顯微鏡的圖像恢複任務和成像方式，對資料集進行了分組。
資料集詳情概覽
由于這些資料集在格式、領域和數值範圍方面差異很大，研究人員對圖像進行了處理，以便進行後續的訓練和跨資料集驗證。具體而言，其将具有不同存儲格式（包括 ‘TIF’、’npz’、’png’ 和 ‘nii.gz’）的現有資料集的輸入和 GT 圖像寫入一個 ‘.npz’ 檔案中。此外，還通過遵循 CARE4 中的資料處理方法，對圖像進行了歸一化處理，以統一不同資料集的數值分布。
模型架構：多頭多尾結構
研究人員建構的 UniFMIR 模型采用了多頭多尾 (multihead, multitail) 結構，如下圖所示：
UniFMIR 架構
具體來說，UniFMIR 由多頭子產品、特征增強子產品和多尾子產品組成。
其中多頭子產品和多尾子產品采用不同的分支來提取特定任務的淺層特征，并分别針對不同的圖像修複問題得出精确的結果。
特征增強子產品采用先進的 Swin Transformer 結構來增強特征表示并重建通用有效的特征，進而實作基于熒光顯微鏡的高品質圖像複原。不同的基于熒光顯微鏡的圖像複原操作涵蓋不同的頭部和尾部分支，但共享相同的特征增強子產品。
UniFMIR 模型基于 PyTorch 實作，并使用自适應矩估計 ( adaptive moment estimation, Adam) 進行優化，其中 β1 = 0.9，β2 = 0.999，共進行了 500 個 epochs 訓練。初始學習率從 5 × 10-5 開始，經過 200 個 epochs 後減半。所有實驗均在一台配備 Nvidia GeForce RTX 3090 GPU（具有 24GB 記憶體）的機器上進行。
在預訓練階段，研究人員将所有訓練資料輸入模型，并使用相應的資料優化不同的頭部和尾部分支以執行不同的任務。中間的特征增強分支使用所有訓練資料進行優化。
在微調階段，研究人員将 batch size/patch size 設定為 4/128、32/64、32/64、4/64 和 1/16，用于分别處理圖像超分辨率、各向同性重構、3D 去噪、表面投影和體積重建任務，以産生更好的學習效果。
通過收集的大規模資料集對模型進行預訓練，并使用不同圖像增強任務的資料微調模型參數，UniFMIR 展現出比專有模型更好的增強性能和泛化性。
研究結果：大幅提升 5 大任務性能
研究結果顯示，熒光顯微鏡圖像增強 AI 基礎模型 UniFMIR 大幅提升了在「圖像超分辨率、各向同性重構、3D 去噪、表面投影和體積重建」 5 大任務方向上的性能。
超分辨率 (SR)
研究首先驗證了 UniFMIR 方法處理 SR 問題的潛力，這涉及通過多模态結構照明顯微鏡系統獲得的結構複雜度不斷增加的圖像，包括被膜小窩 (CCPs)、内質網 (ERs)、微管 (MTs) 和纖維狀肌動蛋白 (F-actin)。
UniFMIR 成功地從寬場 (WF) 圖像推斷出 SR SIM 圖像，在衍射極限尺度上具有高熒光水準，并顯示了清晰的結構細節。
與兩個基于深度學習的熒光顯微鏡 SR 模型 (XTC15 和 DFCAN5) 以及單圖像超分辨率模型 (ENLCN36) 相比，UniFMIR 能夠正确重建大部分微管圖像，而不會丢失或合并它們，即使微管密集分布并且彼此靠近。對于多樣化的亞細胞結構，UniFMIR 還以高度保真度恢複了中空的、環形的 CCPs 和交錯的 F-actin 纖維。
不同資料集的PSNR↑/SSIM↑/NRMSE↓比較 n=100
研究人員還使用峰值信噪比 (PSNR)、結構相似性指數度量 (SSIM)、标準化均方根誤差 (NRMSE)、裝飾分析的分辨率估計、傅裡葉環相關(FRC)、SQUIRREL 分析和分割名額對實作的 SR 準确性進行了量化，如上圖所示。
當評估 SR SIM 圖像的熒光強度和結構時，更高的 PSNR/SSIM 值和更低的 NRMSE 值表示更好的 SR，UniFMIR 顯然在這些名額上都比較突出。
各向同性重構
各向同性是指物體的實體、化學等方面的性質不會因方向的不同而有所變化，如所有的氣體、液體（液晶除外）以及非晶質物體都顯示各向同性。與之相對，各向異性是指物質的全部或部分化學、實體等性質，會随着方向的改變而有所變化，在不同的方向上呈現出差異的性質。
研究人員将 UniFMIR 應用于小鼠肝髒容積成像的各向異性原始資料，以預測各向同性的軸向切片，并與兩個基于深度學習的各向同性重模組化型進行了比較 (CARE 和 3D U-Net 模型)。
結果顯示， UniFMIR 産生了更準确的像素分布的各向同性重建結果。
3D 去噪
研究人員進一步在 Planaria 和 Tribolium 資料集上進行了 UniFMIR 在活細胞圖像去噪任務中的性能基準測試。
對扁蟲進行3D圖像去噪任務的視覺結果
與兩個基于 U-Net 的去噪模型 CARE 和 GVTNets 相比，UniFMIR 模型在不同雷射功率/曝光時間下顯著抑制了低信噪比熒光顯微鏡圖像的噪聲，并清晰地描繪了帶有标記的細胞核的扁蟲 (S. mediterranea) 和紅蜣螂體積，有助于觀察胚胎發育。
表面投影
為了更好地分析和研究黑腹果蠅 (Drosophila melanogaster) 發育上皮細胞的行為，表面投影有助于将一個 3D 體積投影成二維表面圖像。目前的深度學習模型 (ARE 和 GVTNets) 将這個圖像恢複問題分為兩個子問題，即 3D 到 2D 表面投影和 2D 圖像去噪，并使用兩個特定任務的網絡，遵循與 U-Net 相同的編碼器-解碼器架構來解決它們。
将UniFMIR應用于表面投影的PSNR↑/SSIM↑/NRMSE↓比較 n = 26
本研究提出的方法進一步在更複雜的複合熒光顯微鏡圖像恢複任務中考察了 UniFMIR。與 ARE 和 GVTNets 相比，UniFMIR 在 PSNR/SSIM/NRMSE 名額方面實作了更高的投影重建精度。
體積重建
實驗中，研究人員還驗證了 UniFMIR 在 VCD-Net 提供的資料上進行體積重建的能力。重建的每個視圖的 3D 體積可以識别成像對象的運動軌迹，如下圖所示，這有助于揭示涉及各種亞細胞結構的許多複雜活細胞動态的基本機制。
将 UniFMIR 應用于體積重建
綜上所述，加載了 UniFMIR 的熒光顯微鏡可能成為生命科學實驗室中的「神器」。科學家們能更清晰地觀察到活細胞内部的微小結構和複雜過程，加速全球生命科學、醫學研究、疾病診斷相關領域的科學發現和醫療創新。
同時，在半導體制造、新材料研發等領域，該成果可以用來提升觀察和分析材料微觀結構的品質，進而優化制造技術和提高産品品質。未來，生命科學實驗室的科學家們還可通過進一步擴充訓練資料的資料量和豐富度來不斷強化 UniFMIR 的圖像重構能力。
AI 驅動生命科學領域圖像處理新範式
如今，顯微鏡的進步正在創造大量的成像資料，如何高效地進行圖像處理是生物醫學領域研究的重要環節。随着人工智能在生命科學研究領域持續取得颠覆性突破，AI 驅動的圖像處理新範式未來已來。
2020 年，得克薩斯州休斯敦萊斯大學 (Rice University) 生物工程學教授與 MD 安德森癌症中心 (MD Anderson Cancer Center) 合作，開發了一種稱為 DeepDOF 的計算顯微鏡，該顯微鏡基于 AI 技術，在保持分辨率的情況下，其 DOF 可以達到傳統顯微鏡的 5 倍以上，進而大大減少了圖像處理所需的時間。
定位AFM和X射線結構（來源：威爾康奈爾醫學院）
2021 年，威爾康奈爾醫學院研究團隊開發了一種計算技術，通過将定位圖像重建算法應用于原子力顯微鏡 (AFM) 和傳統 AFM 資料中的峰值位置，将分辨率提高到超出尖端半徑設定的限制，并在天然和動态條件下解析蛋白質表面上的單個氨基酸殘基，大大提高了 AFM 的分辨率。該方法揭示了正常生理條件下蛋白質和其他生物結構的原子級細節，為細胞生物學、病毒學和其他微觀過程打開了一個新視窗。
2024 年 4 月，麻省理工學院、麻省理工學院布羅德研究所和哈佛大學以及麻省總醫院的一篇論文介紹了一種新的人工智能工具，可以捕捉醫學圖像中的不确定性。該系統被稱為 Tyche (以希臘神話中的機遇之神命名)，它提供了多個看似合理的分割，每個分割都突出了醫學圖像中略有不同的區域。使用者可以指定 Tyche 輸出多少個選項，并選擇最适合其目的的選項。
總結來看，AI 可以用于生物醫學圖像的增強、分割、配準和重建，以提高圖像品質并提取有用的資訊，賦予顯微鏡一雙「火眼金睛」。未來，在 AI 的助力下，顯微鏡将看的更清晰，同時處理資料更快、更加自動化、精确，讓科研變得更加高效、輕松。
參考資料：
1.https://www.nature.com/articles/s41592-024-02244-3
2.https://news.fudan.edu.cn/2024/0413/c5a140009/page.htm
3.https://new.qq.com/rain/a/20240417A06LF900
4.http://www.phirda.com/artilce_28453.html?cId=1
5.https://www.ebiotrade.com/newsf/2024-4/20240412015712482.htm