機器人開業第38篇文章
已經在機器人上閱讀了28篇文章
在把電鏡資料處理玩出花的道路上越走越遠233
摘要：
信噪比SNR和圖檔對比度對成像很重要，經典的擷取低頻對比度方法使用高的失焦，或者用低通濾波，會損失高頻SNR。本文使用的CNN去噪算法可以用來提高SNR和對比度，定量估計了造成的偏置和重建中的影響，本方法可以做出解析度更好的結果。
介紹：
電鏡圖來源于重複疊代的疊加和平均，對非常高噪聲的2D投影來說。這一過程需要識别顆粒(在亮視野中)，分類，确定方向，疊合及3D模組化。成像結果取決于所有頻率的信噪比。對比度主要取決于低頻資訊，受到放射敏感性和樣品透明度的影響，也受到CTF的影響。
在這些限制下，電鏡圖的SNR通常小于1，傳統提升方法是提高失焦，更高的失焦變換CTF，低頻對比增加，但是高頻對比更弱，不利于高清結構，尤其是小型蛋白。或者進行CTF的相差操作，可以不擾動高頻資訊，如Volta。但還是損失高頻資訊。新的雷射相差可以解決問題，然而還是需要一些補充方法。
本文提供了計算的圖像恢複方法，減少噪音，控制SNR，提高對比度。基本想法是串聯一個參數化的圖像處理器(CNN)作為圖像去噪器，訓練模型使用noise2noise的多噪聲的訓練信号，加以現存優化措施的優化。訓練結果明顯提升了對比度，達到了相差的效果，在信噪比方面也在全頻段有效。低頻相對真實，但高頻引入了偏置，也評估了偏置的影響，并不會影響準确的去噪顆粒的疊合及3D重建。實踐使用需要一些對現有軟體的調試，但這個結果還是可以用的。
之前的基于noise2noise的結果主要強化了可視化和挑顆粒，這裡的定量描述擴充了降噪CNN的應用。
補充圖1：本文的網絡結構
結果：
訓練CNN模型來進行電鏡圖檔去噪
每一個濾波器都進行像素尺度的非線性函數激活。這裡的輸入和輸出對是有/無噪音的圖像，注意這些圖像要有代表性，才使得CNN能擴充。但要注意由于冷凍樣品的輻射敏感性從初始就獲得無噪聲的圖像是不可行的。
近期Lehtinen等證明一對有噪聲圖檔可以取代有/無噪聲圖檔訓練去噪CNN，即在第一張噪聲圖檔上使用CNN，并将第二張圖和輸出之間的差異定義為損失，使得兩張圖檔相近的方式來進行梯度下降。發現所獲得的參數類似正常的有/無噪聲的訓練資料。
此訓練方法稱為noise2noise，使得在有噪聲的時候依然能夠學習，訓練需要這兩種噪聲無關，另外，這種訓練不做結構信号的假設，甚至有更廣義的自監督去噪。
使用DDD，可以獲得很多圖像，能夠在加和圖像集合後，獲得同樣信号但是噪音無關的圖像，如在運動矯正後的圖像和電子劑量矯正後的圖像。是以，用noise2noise,算法不再需要額外的資料收集工作。
注意到這裡考慮的噪聲是散粒噪聲(電子由于波動性的機率在不同位置出現機率不等于實際出現的情況産生的噪聲)，不是樣品被破壞或者冰層産生的噪聲。後者屬于可以在計算3D重建時去掉的噪聲，但不是去噪CNN的解決範疇。
在電鏡上使用去噪CNN
實際上訓練noise2noise隻需要一堆噪聲資料。實踐中發現去噪的效果取決于CNN結構和訓練流程。使用去噪程式restore，類似U-Net，将一些子產品替換成了廣義激活網絡，并使用深度空間上采樣減少人工影響。這些修飾優化了訓練損失和輸出的品質，相比于标準的U-Net。補充圖1表示了完整的CNN模型。
使用部分資料訓練網絡，使用訓練的網絡去噪。訓練隻需要幾小時。考慮到資料很多，不太會過拟合。首先進行運動矯正和電子劑量平均，使用MotionCor2，像素設定在1埃，進行CTF修飾。注意到網絡需要差別CTF造成的信号變化和噪聲，但似乎連CTF矯正的問題一起調整了比較好，是以沒有額外設定使CNN的學習和CTF矯正無關。是以在應用CNN之前，對圖像進行了相位翻轉，即将CTF信号乘以傅裡葉變換的結果，再反向變換，是以不必在去噪之前再翻轉一次。
考慮超高頻信噪比很低，并不想恢複這些信号，是以裁剪了傅裡葉空間減少噪音，控制圖檔，将像素大小大概弄成1.5埃。在訓練中使用相位翻轉且裁剪的圖檔到192×192。将方塊歸一化。
最後的訓練使用Adam優化器，權重正則化，noise2noise訓練方法很快，大概20-30分鐘即可。訓練後可以處理所有圖像的噪聲，處理時不将圖檔分塊。去噪後圖檔進行傅裡葉空間的低通濾波再反向變換，使得圖像形狀和大小與原先一緻，頻率與訓練資料一緻。
在多種電鏡資料上造成的對比度增強
在不同大小，形狀，圖檔條件的資料集上測試，對比度明顯提升，且和分子形狀一緻(圖1)。
圖1 去噪CNN造成的對比度提升。
使用廣泛采用的T20S樣本了解不同頻率上的去噪。使用全部圖像訓練去噪器，并将解析度用傅裡葉裁剪限制在3A，與2A中的原圖相比，2B中的去噪圖對比明顯，且低通濾波沒有模糊(2C)。
傅裡葉能量譜(2D)和光譜信噪比(SSNR，2E)在去噪後提高了，且不減少高頻資訊。這不同于普通的低通濾波，低通濾波會抑制高通的資料，且不提高任何位置的SSNR。Thon環位置正确，失焦值和原圖類似(2F)，少部分和冰層相關的失焦值産生了較大變化。
圖2：傅裡葉空間的去噪産生的影響。但注意到B圖的頻率分布從高斯分布發生了改變。
這些例子證明用noise2noise訓練的CNN可以有效提高對比度，也可以促進更好的人工圖像評估和顆粒提取。就資料集單獨訓練的時候，結果與其他降噪方法一緻，反映了noise2noise的魯棒性。
定量評估信号提升和降噪
有一個關于降噪的問題是全頻率的信号是否良好儲存？或者降噪是否對其他處理估計和挑顆粒之外的内容有效？
使用互相關估計回答這一問題。估計了假信号/偏置加入的程度，基于一對降噪後的圖檔有着同樣的信号和偏置，但是降噪前後隻有信号一緻，是以可以估計信号、偏置、噪聲的方差，進而計算考慮偏置的SNR，作為頻率的函數。
在T20S資料集中，信噪比從0.14提升到了8.3，這種提升可能來自于一些噪聲變成偏置的結果。定義了信噪偏置比SNBR，即信号方差與噪聲+偏置方差的比值，反應真實信号與其他所有部分的比值，對T20S，這個值是1.4，還是表示有了提高。
圖3：對信号，噪聲和偏置的定量分析
在圖3B中分析了随頻率的變化，在降噪後，全頻率噪聲減少，低頻區信号明顯大于偏置，但高頻區類似。
總之，降噪提高了真實信号，但将無關噪音轉化為相關的偏置。可能的解釋是高頻資訊在低信噪比圖像中和噪聲混淆，例如側鍊的精确分布可能就被高頻資訊編碼，但是有很多噪聲的時候，這樣的信号可能有多種可行的解釋。是以最好的側鍊猜測可能來自于所有解釋的平均，這種平均可能不準确，但也不會差的很遠。
在這種情況下，低頻資訊偏置更少，但是高頻資訊大部分被轉移成了偏置。
3D重建
這種偏置在不同顆粒的圖像之間相關嗎？考慮到角度矯正已知，相關的偏置将會造成人工引入的重建中的特征，但是不相關的偏置會被平均掉。
這種偏置會影響圖像疊合，阻礙結構解析嗎？為解決這兩個問題，實地進行了3D重建。
用無降噪重建到了3.3埃，使用302290個顆粒，cryoSPARC，無對稱性(4A，補充圖2A)，就算不銳化，側鍊密度依然可見。該重建和方向參數被用來定量估計去噪後的重建行為。
補充圖2
用同樣的顆粒，在去噪圖中進行3D重建，使用relion，參數來源于帶噪聲的圖檔(4B)，4B表示，這明顯缺少了細節資訊。盡管解析度達到了3.4埃。一些螺旋解析很好，但是一些完全沒有解析出來。去噪後也表現出銳化後更大的B因子，此時側鍊相近(4C和4D)。FSC表明去噪圖像獲得了幾乎靠近截斷位置的解析度。這也反應了偏置是随機的，大的B因子可能來源于更強的低頻資訊。總之B 矯正恢複了一部分高頻資訊，在使用去噪的角度參數後，原圖的重建效果更好。誤差可能來自偏置或者低頻資訊的過度估計。
讨論：
去噪CNN提高了圖像對比度，最佳目前應用大概是對樣品的視覺估計，在大規模收資料之前，以及小而無規則的挑顆粒。定量估計提示低頻和中頻信号增強，但是高頻信号不變。
疊代性的優化造成了幾乎正确的高解析度結構重建，小的方向參數錯誤可以被原圖方向的參數矯正。比相位闆方法的不可逆性要好。
盡管并未證明，CNN去噪也有着更好鑒定小顆粒的能力，即采樣數較少的中間态顆粒，尤其是在中間态以低頻資訊為區分的情況下，如蛋白區域位置的改變。也許可以在傅裡葉空間合并去噪和原圖，進而結合去噪的低頻資訊和原圖的高頻資訊。目前軟體無法适當地處理降噪圖檔也是問題，可能來源于不同頻率中降噪圖檔的巨大差別。
還可以促進顆粒的疊合，無規則顆粒的分離，也對用虛原子方法估計初始模型，測定大分子波動性有利。
一些思考：
- 聽了電鏡講座，感覺随着技術的進步，算法上能造成的提升可能還是有限的，尤其在現在純技術就可以獲得1.8埃解析度的情況下，且CNN在deblurring方面還是可能有令人不信服的bias内容。
- 但不可否認，簡單的CNN應用在目前的生物圖像處理領域還确實處于發展狀态，比如今天課上聽的用CNN重制HE染色的結果。并且這篇文章的bias如果看下來，确實是有限的。
- 引入的偏置怎麼辦呢？非高斯分布的話能通過align消去嗎？
- 側鍊測量會引入誤差的話，其實用這個在高解析度的圖像上還不如用原圖處理？
- 可以用這個處理來選擇顆粒位置，再用更好的顆粒位置去在原圖上保證這些高頻資訊。或者用于低解析度的模闆獲得。
第38次文獻閱讀就到此為止吧~歡迎拍磚哈哈哈