天天看點

南科大研發高通量成像深度學習架構,實作全細胞的三維超分辨成像

作者:DeepTech深科技

從 2009 年赴德留學,到 2019 年回國加入南方科技大學擔任獨立 PI。暌違十年之久,李依明終于回到故鄉之地。

南科大研發高通量成像深度學習架構,實作全細胞的三維超分辨成像

圖 | 李依明(來源:李依明)

三維超高分辨顯微成像技術及其生物應用,是他的主要研究方向。前不久,他和團隊研發出一款名為 FD-DeepLoc 的深度學習架構,借此将單分子定位顯微鏡(SMLM,Single-molecule localization microscopy)的有效成像視野擴充到約 180×180μm² 的範圍,并在全細胞範圍實作三維超高分辨成像,相比之前實作了高出 100 多倍的成像通量。

概括來說,該成果突破了傳統卷積神經網絡對于空間位置不敏感的局限,在大面陣科研級互補金屬氧化物半導體相機(sCMOS,scientific Complementary Metal–Oxide–Semiconductor)的整個感光晶片視場範圍内,均能對空間移變的單分子資料精準定位,并能實作三維大視場高通量超分辨成像。

最近幾年,随着腦科學技術的發展,針對神經元甚至全腦切片進行成像的需求愈發高漲。由于神經細胞的尺寸較大,且在大腦中大範圍地密集分布,這對成像的視野和分辨率提出了更高的要求,是以領域内亟需一種兼具高分辨率與高視野的顯微成像技術。

而本次成果則讓 SMLM 技術的應用範圍從單細胞量級的成像,擴充到細胞種群乃至組織的成像。這大大提高了研究效率,讓研究人員在解析生物大分子結構的同時,還能捕捉到細胞種群間的微小差異。

在超分辨技術發展趨勢走向更高通量和更大視野的背景下,全球多個實驗室都在進行高通量、高分辨、大視場的成像,而本次成果恰好為相關研究中提供了一個及時的手段。

南科大研發高通量成像深度學習架構,實作全細胞的三維超分辨成像

(來源:Nature Methods)

結合超分辨技術本身的超高分辨率和分子特異性,李依明認為 FD-DeepLoc 額外提供的高通量成像能力,将帶來以下幾個方面的潛在應用:

其一,未來大尺寸的超分辨成像将不再局限于玻片表面的細胞,而是能夠研究多種不同類型的樣本比如組織切片和原位樣本,是以有些研究在臨床環境中就能進行;

其二,當使用藥物影響細胞種群之後,還可以研究藥物的作用機制、毒性和治療效果,進而為藥物研發提供新機會;

其三,該成果可以幫助醫生更快速、更準确地診斷疾病,進而為臨床治療提供更可靠的依據,進而提高疾病診斷水準;

其四,将該技術與其他技術比如基因組學、蛋白質組學和分子生物學技術等結合使用,可以讓研究者獲得更全面、更準确的資訊。

日前,相關論文以《視場相關的深度學習可實作高通量全細胞三維超分辨成像》(Field-dependent deep learning enables high-throughput whole-cell 3D super-resolution imaging)為題發在 Nature Methods 上[1],博士生傅爽和石偉為共同第一作者,李依明擔任通訊作者。

南科大研發高通量成像深度學習架構,實作全細胞的三維超分辨成像

圖 | 相關論文(來源:Nature Methods)

南科大研發高通量成像深度學習架構,實作全細胞的三維超分辨成像

難題:如何提高超分辨成像的視野?

作為一種超分辨技術,單分子定位顯微鏡的分辨率比光學衍射極限高出一個數量級以上,能将傳統光學顯微鏡的分辨率從 200nm 提升到 20nm 左右,是在分子水準觀測亞細胞器微觀結構的一個重要利器。研發這一技術的科學家,也獲得了 2014 年諾貝爾獎。

直到現在,它依然是一個前沿研究方向,人們通過這一技術不斷地觀測得到新的生物發現。但是,“天下沒有免費的午餐”,分辨率的提升往往會導緻成像視野的縮小。

由于超分辨顯微鏡對像差非常敏感,一般隻能在視場中心像差比較小的幾十微米範圍内,傳統超分辨顯微鏡才能取得較好的成像效果。

一直以來,高通量超分辨成像都是領域内一個重要難題。此前,也有學者提出多個基于硬體掃描的方法。但是,這些方法的複雜度往往較高,成像效率也比較低。

而且,本質上它們仍是通過拼接多個小視場圖像實作大範圍成像,這不僅需要一整套複雜的掃描成像裝置,還需要對圖像進行高精度配準以減少僞影,這限制了高通量超分辨成像技術的廣泛應用。

最近幾年,sCMOS 的不斷發展讓人們獲得了更多的像素、以及越來越大的感光晶片,這為高通量成像帶來了新機遇。

然而,在超分辨成像領域卻并未借此得到相應的視野提升。其中一個重要原因在于,視場相關的像差限制了全畫幅的大視野成像。

為了充分利用現代 sCMOS 相機提供的大尺寸晶片,實作整個感光晶片範圍的高品質全細胞超分辨成像,李依明團隊在硬體和重建算法上開展了一系列原創性工作。

南科大研發高通量成像深度學習架構,實作全細胞的三維超分辨成像

破題:用深度學習“之鑰”,打開高通量超分辨成像“之門”

據了解,在李依明回國之前他就想做這一課題,尤其是領域内幾個深度學習成果在高密度單分子成像的成功應用,讓他意識到深度學習将是解決單分子定位領域内複雜 PSF 模組化和定位的重要技術手段。

回國之後,他将該項目作為重點推進課題。萬事開頭難,回國剛成立實驗室的時候,面臨着人員招聘和培養、裝置采購及搭建、确定研究課題和推進等任務。

“可以說是事無巨細,這些都需要我親力親為。回國初期,工作困難大、強度大是一方面,還有一方面是精神壓力大。當我從博士後轉為一個獨立 PI,面對各種考核名額我也不免有些焦躁。但我很慶幸自己堅持了下來,這離不開南科大的支援,正是以我才有足夠的底氣堅持做自己認準的事。研究中我們一點一點地積累項目所需要的各種技術。當很多設想變成現實,并最終整合在一起攻克領域内的重要問題時,也是我在科研中感到最享受的時候。”李依明說。

同時,本次工作的順利完成,也得益于前期的理論和技術積累,尤其是在單分子點擴散函數模組化以及 GPU 加速算法方面,此前李依明和團隊獲得領域内權威資料分析挑戰賽的第一名,這些積澱也確定了本次研究的成功。

具體來說,本次研究中他們先是設計和搭建一套大視場照明以及成像系統,并将自适應光學器件可變形鏡和大面陣的 sCMOS 相機內建到光路中,進而在硬體上滿足了大視場成像的基本條件。

接下來,課題組選用基于矢量衍射的德拜積分理論,來對整個視野的像差進行精确模組化。考慮到模組化整個大視場空間移變的像差,需要對整個視場進行上千次的采樣,而矢量衍射德拜積分理論的計算複雜度較高,傳統算法通常耗時數天左右才能完成整個視場的模組化。

為了加速這一過程,該團隊開發了領域内第一個基于 GPU 加速的矢量點擴散函數(Point Spread Function,PSF)模型拟合算法和像差校正軟體,将校正速度提高了 50 倍,并将大視場像差模組化時間控制在一小時左右。

此外,為了實作對于全細胞的超分辨成像,課題組提出一種以可變形鏡促動器響應函數為基函數的相位設計架構,借此得到一系列基于可變形鏡的三維精度最優點擴散函數(Deformable Mirror Optimized PSF, DMO PSF)[2]。

DMO PSF 能對景深進行自由控制,并具備較高的光子信号使用率。在 SMLM 成像中,驗證結果顯示 DMO PSF 的景深是傳統方法的 5 倍左右。

在硬體設計上實作大視場、大景深的成像,隻是高通量超分辨成像的第一步。另一個亟需解決的問題是,如何針對存在空間移變像差的大視場資料進行超分辨重建。

近年來,深度學習算法已被廣泛用于科學研究中。憑借出色的特征感覺能力和端到端的圖像拟合能力,深度學習在單分子定位中展現出遠超傳統算法的性能。

然而,對于傳統卷積神經網絡來說,面向圖像中的不同區域,它使用的是同一個卷積核,是以它對空間位置并不具備敏感性。

針對空間移變點擴散函數的精準定位,該團隊提出一套深度學習算法架構 FD-DeepLoc,借此克服了視場相關的像差。

在 FD-Deep Loc 中,他們引入兩個位置相關的通道。這樣一來,卷積核在卷積單分子圖檔的時候,也會對這兩個位置通道進行卷積,進而把位置相關的資訊編碼到神經網絡裡。

相對于領域内之前最好的基于三次樣條插值的傳統單分子拟合 Cspline 算法[3,4]、以及基于神經網絡的 DECODE 算法[5],FD-DeepLoc 均有顯著的提升。相比 DECODE 在三維超分辨定位精度名額均方根誤差上的表現,FD-DeepLoc 提升了将近兩倍。

南科大研發高通量成像深度學習架構,實作全細胞的三維超分辨成像

(來源:Nature Methods)

此外,他們還通過制備多種生物樣品以進行大視場的成像,來對大尺寸的樣品加以研究。例如,體外培養的神經細胞通常在幾百微米的範圍内生長,而傳統的超分辨成像一般隻能看到小于 50µm 的軸突片段,其景深極限在 1μm 左右,是以會忽略掉一些不常見的結構,也無法在更大的三維空間尺度上觀測神經元之間的精細互作資訊。

FD-DeepLoc 的優點在于,即使在大直徑的神經突中,也可以精細地重建出目标蛋白的三維分布,進而能為大尺寸樣品的研究提供新的技術手段。

在細胞組學的研究中,通常需要分析和比較大量的細胞,以揭示其組成、功能和互相關系等。而 FD-DeepLoc 能對大量細胞進行高效成像和資料擷取,進而為科研人員提供更多資訊和線索,進而為細胞組學研究提供更全面、更準确的結果。

例如,在本次工作中,李依明團隊在短時間内就能采集到上百個不經過人工挑選的全細胞線粒體超分辨圖像,通過提取這些細胞的形态(分叉、長度、球形度等)并進行聚類分析,他們得到了三種不同類型的線粒體細胞。

“這些結果讓我們相信,FD-DeepLoc 将為超分辨顯微成像領域提供新的技術思路和視角,對研究完整細胞群或組織中納米級生物結構具有重要的應用價值。大視場結合大景深的成像,也給我們帶來了資料通量的顯著提升。我們相信,這項技術将為結構生物學和細胞生物學的研究提供新思路。”李依明說。

另據悉,針對 FD-DeepLoc 包含的大視場空間移變的矢量 PSF 模組化、以及基于深度學習的單分子定位算法,課題組均已進行開源(https://github.com/Li-Lab-SUSTech/FD-DeepLoc)。

南科大研發高通量成像深度學習架構,實作全細胞的三維超分辨成像

(來源:Nature Methods)

南科大研發高通量成像深度學習架構,實作全細胞的三維超分辨成像

親曆科學開源潮流,用實際行動踐行共享精神

在國産替代的大潮之下,李依明認為開放和合作依然非常重要。在過去十年間,學界經曆了一波開源科學的潮流,很多資料和源代碼都被開源和共享。

他說:“我自己也有幸參與了耶魯大學 Joerg Bewersdorf 教授牽頭的基于雙鏡頭的 4Pi 顯微成像系統的一個群體研究團隊中。在這個叢集中,每個團隊有各自不同的研究側重點,大家可以非常坦誠溝通交流,并互相共享技術。”

這一經曆給李依明的個人成長帶來了極大幫助,這讓他也積極擁抱開源共享。他的課題組發表的論文,涉及到的相關代碼都會開源,以讓其他團隊能更快地使用相關技術。“我相信,開源的科學研究能更好促進整個學界的交流和合作,提升大家的研究效率。”李依明表示。

都說學海無涯,科研亦是如此。下一步,李依明打算提升超分辨成像的通量至毫米級尺寸,并将在成像系統硬體設計上實作超大視場的均勻照明和超大面陣探測器成像,在核心算法上對整個視野範圍内的原位 PSF 進行精确模組化,以及對空間移變的大資料進行快速分析,以期實作對于多細胞類器官、病理組織切片和腦切片等樣品的高通量超分辨成像。

李依明補充稱,超分辨成像是一個新興的領域,國内的發展水準已經能和國際先進水準比肩。在高端科學儀器國産化的背景下,對相關成果進行産業化十分有必要,同時機會也非常多。基于此,他也将和團隊再接再厲。

參考資料:

1.Fu, S., Shi, W., et al. Real-time 3D single-molecule localization using experimental point spread functions. Field-dependent deep learning enables high-throughput whole-cell 3D super-resolution imaging. Nat. Methods, 20, 459 (2023).

2.Fu, S. et al. Deformable mirror based optimal PSF engineering for 3D super-resolution imaging. Opt. Lett. 47, 3031 (2022).

3.Li, Y. et al. Real-time 3D single-molecule localization using experimental point spread functions. Nat. Methods 15, 367 (2018).

4.Li, Y. et al. Global fitting for high-accuracy multi-channel single-molecule localization. Nat. Commun.13, 3133 (2022).

5.Speiser, A. et al. Deep learning enables fast and dense single-molecule localization with high accuracy. Nat. Methods 18, 1082 (2021).

繼續閱讀