熒光顯微鏡具有對樣品損傷小、可特異性成像等優(yōu)點(diǎn)，是生物醫(yī)學(xué)研究的主流成像手段。隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)在逆問題求解中取得了巨大成功，被廣泛應(yīng)用于諸多領(lǐng)域。

近年來，深度學(xué)習(xí)在熒光顯微成像中的應(yīng)用掀起了一個研究熱潮，為熒光顯微技術(shù)發(fā)展提供了性能上的突破與新思路。

基于此，西安電子科技大學(xué)的熊子涵、宋良峰團(tuán)隊(duì)在《紅外與激光工程》發(fā)表文章，介紹了深度學(xué)習(xí)的基本網(wǎng)絡(luò)模型，然后對基于深度學(xué)習(xí)的熒光顯微成像技術(shù)在熒光顯微的空間分辨率、圖像采集及重建速度、成像通量和成像質(zhì)量提升方面的應(yīng)用進(jìn)行了闡述。

深度學(xué)習(xí)基本介紹與發(fā)展

深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)，是機(jī)器學(xué)習(xí)方法中最受歡迎的算法。1943年，Mcculloch等人提出第一個腦神經(jīng)元抽象模型，隨后Rumelhart和McClelland于1986年提出多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法，但1991年該算法被指出存在梯度消失問題。2006年，Hinton提出深度神經(jīng)網(wǎng)絡(luò)模型，使深度學(xué)習(xí)再次崛起。2012年，AlexNet在ImageNet競賽中的優(yōu)異表現(xiàn)引起了公眾的全面關(guān)注。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，主要由卷積層、池化層以及全連接層組成。U-Net是一種基于全卷積網(wǎng)絡(luò)的經(jīng)典圖像分割網(wǎng)絡(luò)，由編碼器、解碼器和跳躍連接組成，能有效防止信息丟失。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

是一類具有短期記憶能力的神經(jīng)網(wǎng)絡(luò)，通過自反饋的神經(jīng)元來處理任意長度的時序數(shù)據(jù)，由輸入層、隱含層以及輸出層組成。為解決長期記憶問題，可采用長短期記憶網(wǎng)絡(luò)（LSTM）。

生成對抗網(wǎng)絡(luò)（GAN）

是一種無監(jiān)督深度學(xué)習(xí)模型，由生成器與判別器兩個模塊組成，兩部分網(wǎng)絡(luò)相互博弈以提高網(wǎng)絡(luò)性能，在樣本數(shù)據(jù)生成、圖像生成以及提高圖像分辨率等方面有廣泛應(yīng)用前景。

深度學(xué)習(xí)在熒光顯微中的應(yīng)用

1、增強(qiáng)空間分辨率

基于GAN的深度網(wǎng)絡(luò)框架：加州大學(xué)Wang等提出，選用U-Net神經(jīng)網(wǎng)絡(luò)，將在低倍物鏡、共聚焦顯微鏡以及全內(nèi)反射熒光顯微鏡下獲取的低分辨率圖像轉(zhuǎn)換為高分辨率圖像，具有大視場、高信噪比與高自由度等特點(diǎn)。

通過對牛肺動脈內(nèi)皮細(xì)胞結(jié)構(gòu)和熒光小球進(jìn)行成像實(shí)驗(yàn)，驗(yàn)證了該網(wǎng)絡(luò)的性能和通用性，實(shí)現(xiàn)了跨模態(tài)成像，將共聚焦顯微鏡圖像轉(zhuǎn)換為STED顯微圖像，使空間分辨率得到顯著提升。

其他網(wǎng)絡(luò)模型：Zhang等采用GAN實(shí)現(xiàn)從LR圖像到HR圖像的轉(zhuǎn)換，對人類病理切片、熒光標(biāo)記的成纖維細(xì)胞以及轉(zhuǎn)基因小鼠大腦深層組織進(jìn)行高分辨成像；Zhou等提出基于3D深度學(xué)習(xí)的雙生成對抗網(wǎng)絡(luò)（Dual GAN），實(shí)現(xiàn)LR圖像轉(zhuǎn)換為HR圖像；Wang課題組提出一種深度對抗網(wǎng)絡(luò)（DAN），以一個STED圖像作為輸入，輸出一個對應(yīng)更高分辨率的STED圖像；Christensen等提出ML-SIM重建方法，使用端到端深度殘差神經(jīng)網(wǎng)絡(luò)；Shah等提出基于深度學(xué)習(xí)的SR-SIM圖像重建方法RED-fairSIM，在低SNR條件下獲得超分辨率圖像，并有效地抑制了噪聲。

2、提升圖像采集與重建速度

DL-SIM方法：Jin等提出基于U-Net網(wǎng)絡(luò)的DL-SIM方法，依次使用15張/3張SIM原始圖像與相應(yīng)的15張常規(guī)SIM重建結(jié)果分別作為輸入和真值，訓(xùn)練得到U-Net-SIM15/U-Net-SIM3，將超分辨率SIM所需的原始圖像數(shù)量減少5倍，以提高SIM的時間分辨率。對4種不同的亞細(xì)胞結(jié)構(gòu)圖像進(jìn)行恢復(fù)重建，證明該方法可以以較少的原始圖像數(shù)量來實(shí)現(xiàn)快速超分辨SIM成像。

CycleGAN深度神經(jīng)網(wǎng)絡(luò)：深圳大學(xué)袁小聰教授課題組提出，將 SIM超分辨圖像重建所需的原始圖像幀數(shù)由9幀減少至3幀，實(shí)現(xiàn)快速SIM超分辨成像。

其他方法：Boyd等使用DeepLoco方法將SMLM中活躍的熒光團(tuán)位置生成簡短列表，使用CNN改善傳統(tǒng)算法復(fù)雜、耗時的問題；Shechtman課題組將CNN與SMLM相結(jié)合，提出了一種快速、精確和無參數(shù)的算法；Speiser等開發(fā)了DECODE模型，可在發(fā)光樣品分子局部重疊的情況下實(shí)現(xiàn)單分子定位，將成像時間減少了一個數(shù)量級；Weigert等提出了基于深度學(xué)習(xí)的內(nèi)容感知圖像恢復(fù)（CARE）網(wǎng)絡(luò)，有效解決了光片熒光顯微鏡軸向采樣率低的問題；華中科技大學(xué)費(fèi)鵬教授課題組提出視道深度神經(jīng)網(wǎng)絡(luò)（VCD-Net），以解決光場顯微鏡在捕獲毫秒量級生命過程中空間分辨率低且不均勻的限制。

3、提高熒光顯微成像通量

Recurrent-MZ：美國加州大學(xué)Huang等設(shè)計(jì)，采用基于編碼器-解碼器卷積循環(huán)網(wǎng)絡(luò)（CRNN），通過一系列級聯(lián)的編碼器-解碼器對，更好地利用且合并來自不同軸向位置上的不同尺度的特征圖。使用63X/1.4NA物鏡采集3張軸向間隔為6μm的線蟲樣品圖像作為網(wǎng)絡(luò)輸入，同時采集軸向間隔為0.2μm的91張圖像作為GT，結(jié)果表明網(wǎng)絡(luò)預(yù)測結(jié)果與GT圖像質(zhì)量相當(dāng)，標(biāo)準(zhǔn)均方根誤差均值為4、峰值信噪比均值為34。該方法將傳統(tǒng)3D成像所需要的軸向切片數(shù)量減少了30倍，成像速度和吞吐量得到顯著提升，并且拓展了成像系統(tǒng)景深。

Deep-Z：Ozcan教授課題組提出，從單個2D寬場圖像對熒光樣品進(jìn)行3D重建，最終實(shí)現(xiàn)在±10μm的軸向范圍內(nèi)重聚焦，將自然景深擴(kuò)展約20倍，克服傳統(tǒng)技術(shù)成像速度和吞吐量的限制，并減少了對樣品的曝光量與光損傷。

DL-fMOST：華中科技大學(xué)的Ning等提出，首次使用深度學(xué)習(xí)進(jìn)行全腦成像，以0.32μm×0.32μm×2μm分辨率完成對單個小鼠大腦的數(shù)據(jù)采集，采集時間由3天縮短為1.5天，大大提高了成像吞吐量。

SRRF-Deep：中國科學(xué)院西安光學(xué)精密機(jī)械研究所姚保利課題組提出，通過減少掃描次數(shù)與重建時間，顯著提高了利用超分辨率徑向波動（SRRF）方法成像的吞吐量，同時減輕了光漂白與光毒性的影響。將所需的掃描次數(shù)減少至SRRF的1/100，同時將1024pixel×1024pixel大小的切片的重建時間由3s減少至約0.1s，將重建速度提升了約30倍。

DSP-Net：華中科技大學(xué)費(fèi)鵬教授課題組提出，通過網(wǎng)絡(luò)端到端非迭代推理突破3D熒光顯微鏡通量的極限，可在6min內(nèi)完成小鼠大腦的3D成像，成像速度比傳統(tǒng)成像方法提升了兩個數(shù)量級。在3300μm×830μm×55μm大視場下，以30Hz的體積速率對秀麗隱桿線蟲活動進(jìn)行追蹤，提高了捕獲瞬時生物過程的時間分辨率，有效改善了LSFM光學(xué)吞吐量限制。

4、改善熒光顯微成像質(zhì)量

熒光顯微鏡去噪（FMD）數(shù)據(jù)集：Zhang等構(gòu)建，由12000張真實(shí)熒光顯微圖像組成，主要包含了共聚焦、雙光子、寬場顯微鏡和具有代表性生物樣本如細(xì)胞、斑馬魚和小鼠腦組織，使用圖像平均來獲取60000張不同噪聲水平的圖像和對應(yīng)的標(biāo)簽，填補(bǔ)了該領(lǐng)域在原始數(shù)據(jù)上的空白。

尺度循環(huán)像差矯正網(wǎng)絡(luò)（SRACNet）：浙江大學(xué)的Hu等提出，包含參數(shù)共享的3個尺度循環(huán)訓(xùn)練，由卷積層、激活層以及修改后的殘差塊組成。修改后的殘差塊在殘差連接基礎(chǔ)上加入2個具有不同卷積核大小的分支，為每個水平提供不同的感受野，同時并行化處理，提高網(wǎng)絡(luò)訓(xùn)練速度。網(wǎng)絡(luò)采用RMSE與SSIM相結(jié)合的損失函數(shù)來執(zhí)行訓(xùn)練，可有效增強(qiáng)圖像細(xì)節(jié)，降低圖像噪聲，抑制偽影以及像差修正，且處理速度達(dá)到40.70ms/幅（512pixel×512pixel），適用于實(shí)時生物應(yīng)用。該方法的 PSNR和SSIM值分別為29.29和0.83，而U-Net對應(yīng)的值分別為28.74和0.82，前者成像質(zhì)量明顯優(yōu)于后者。

ScatNet：華中科技大學(xué)的Xiao等提出，與光片熒光顯微鏡（LSFM）相結(jié)合，能夠直接從散射圖像中預(yù)測高質(zhì)量的圖像，擴(kuò)展了LSFM的成像深度。通過對小鼠腦組織進(jìn)行實(shí)驗(yàn)，提高了小鼠大腦中超出光子彈道區(qū)域的神經(jīng)元的SNR和分辨率，還將LSFM傳統(tǒng)成像深度提高至300μm。

5、其他應(yīng)用

In Silico Labeling（ISL）：谷歌公司提出，樣品無需進(jìn)行熒光染色，運(yùn)用ISL模型就可從未標(biāo)記的固定或活體樣本的透射光的z-stack圖像中預(yù)測多種熒光標(biāo)記，準(zhǔn)確預(yù)測細(xì)胞核的位置、細(xì)胞的活性狀態(tài)、細(xì)胞類型及亞細(xì)胞結(jié)構(gòu)類型，還可進(jìn)行遷移學(xué)習(xí)適應(yīng)新的數(shù)據(jù)集。

無標(biāo)簽預(yù)測3D熒光圖像：Ounkomol等采用U-Net架構(gòu)成功從透射光圖像中預(yù)測三維（3D）熒光活細(xì)胞圖像，對64×64×32的3D圖像預(yù)測僅需1s。

自動識別生物結(jié)構(gòu)：Khater等使用CNN可以從SMLM數(shù)據(jù)中自動識別生物結(jié)構(gòu)，對前列腺癌細(xì)胞（PC-3）細(xì)胞膜上的小窩結(jié)構(gòu)進(jìn)行識別分類，分類準(zhǔn)確率達(dá)到了94%。

無監(jiān)督圖像變換網(wǎng)絡(luò)框架（UTOM）：清華大學(xué)戴瓊海課題組提出，不需要通過配對訓(xùn)練數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，就能找到訓(xùn)練對之間的映射關(guān)系，實(shí)現(xiàn)不同成像模式之間的高保真轉(zhuǎn)換，為醫(yī)生在手術(shù)中快速診斷癌癥、腫瘤等提供便捷。

定量評價STED圖像質(zhì)量：Robitaille等提出了一個基于深度神經(jīng)網(wǎng)絡(luò)對STED圖像質(zhì)量的定量評價系統(tǒng)，網(wǎng)絡(luò)輸入需要評價的圖像，輸出對應(yīng)圖像的質(zhì)量分?jǐn)?shù)，其結(jié)果是輸入樣本結(jié)構(gòu)分辨率、SNR、光漂白及光氧化等的綜合評價。

總結(jié)與展望

深度學(xué)習(xí)為熒光顯微技術(shù)的發(fā)展提供了全新的途徑，解決了傳統(tǒng)熒光顯微存在的一些問題，提高了其空間分辨率、成像速度、吞吐量和成像質(zhì)量。

但深度學(xué)習(xí)也存在一些局限性，如需要大量高質(zhì)量的數(shù)據(jù)標(biāo)注、泛化能力有待增強(qiáng)以及缺乏可靠的理論解釋等。

未來，我們可以通過FPGA編程將深度學(xué)習(xí)算法集成到顯微鏡硬件中，開發(fā)出基于深度學(xué)習(xí)的熒光顯微鏡，使其成為更多領(lǐng)域成像和分析的核心技術(shù)。相信在不久的將來，深度學(xué)習(xí)將為熒光顯微技術(shù)帶來更多的突破和創(chuàng)新，為生物醫(yī)學(xué)研究等領(lǐng)域提供更強(qiáng)大的支持。

 

內(nèi)容來源：

熊子涵,宋良峰,劉欣,左超,郜鵬.基于深度學(xué)習(xí)的熒光顯微性能提升（特邀）[J]. 紅外與激光工程,2022,51(11):20220536.Zihan Xiong,Liangfeng Song,Xin Liu,Chao Zuo,Peng Gao.Performance enhancement of fluorescence microscopy by using deep learning (invited)[J].Infrared and Laser Engineering,2022,51(11):20220536.