“在科研之中，使用該技術(shù)有望發(fā)展出小型化的成像系統(tǒng)，以便安裝在活體動物上，進而有望對模型哺乳動物器官進行實時成像；在臨床應(yīng)用中，該技術(shù)有望發(fā)展成更安全的內(nèi)窺鏡系統(tǒng)，以用于臨床診斷或輔助手術(shù)操作。”MIT 博士后趙建表示。
來到 MIT 之前，他在美國中佛羅里達大學光學與激光教育研究中心（CREOL，Center for Research and Education in Optics and Lasers）獲得博士學位。其表示：“美國只有三個大學可以授予光學與光子學博士學位，CREOL 便是其中之一。CREOL 的光學項目在全美排名第九名，在這里可以學習到豐富的光學課程以及受到完備和扎實的學術(shù)訓練。”
圖 | 趙建（來源：趙建）
【資料圖】
正是在 CREOL 讀博期間，他和當時所在的團隊研發(fā)出基于非監(jiān)督學習的新型光纖成像系統(tǒng)方案——Restore-CycleGAN-GALOF，也就是本文開頭提到的新技術(shù)。
這項新技術(shù)的研究背景在于，考慮到光纖成像系統(tǒng)（Fiber-Optic Imaging System, FOIS）的重要價值、以及此前的技術(shù)瓶頸，趙建等人研發(fā)了 Restore-CycleGAN-GALOF 的方案。
（來源：Light: Science & Applications）
無論是在硬件設(shè)計上，還是在深度學習算法上，該方案均具有一定創(chuàng)新之處。
在硬件設(shè)計上，課題組采用安德森局域光纖（GALOF）作為核心光纖器件。GALOF 具有隨機的微結(jié)構(gòu)、以及極高的魯棒性，在光學圖像信息傳輸過程中，可以非常穩(wěn)定地承受較強的光纖機械彎折和光纖溫度變化。
同時，GALOF 也能兼容寬光譜的光源，而且擁有很高的信息傳輸密度。在 GALOF 的基礎(chǔ)之上，該團隊進一步開發(fā)了透射式和反射式兩種成像系統(tǒng)。
在深度學習算法上，通過采用非監(jiān)督學習的循環(huán)生成對抗網(wǎng)絡(luò)（CycleGAN），課題組開發(fā)了適合 GALOF 系統(tǒng)的 Restore-CycleGAN 深度學習模型，并將其用于圖像的重建。
這種基于非監(jiān)督學習的新模型，突破了基于監(jiān)督學習的光纖成像系統(tǒng)的技術(shù)瓶頸。通過將 Restore-CycleGAN 與 GALOF 成像系統(tǒng)進行有機結(jié)合，當采用此次新方案進行模型訓練時，無需依賴嚴格標記的訓練圖像，并能極大減小所需要的圖像數(shù)量。
詳細來說，Restore-CycleGAN-GALOF 方案使用 1000 組無標記的訓練圖像，只需單次訓練即可針對不同實驗條件下的生物樣本，進行高質(zhì)量的彩色圖像傳輸。
相比基于監(jiān)督學習的方案，Restore-CycleGAN-GALOF 方案在大大減少重復訓練次數(shù)的同時，還能將訓練圖像的數(shù)量至少壓縮十倍。
這種基于單次、無標記、小數(shù)據(jù)集的模型訓練方法，可以顯著提高成像速度，簡化實驗系統(tǒng)和實驗步驟，能夠更好地滿足實際需要。
基于非監(jiān)督學習模型 Restore-CycleGAN，研究人員在大角度光纖機械彎折、以及樣品距離變化的情況之下，實現(xiàn)了彩色圖像的高質(zhì)量傳輸。
這種高魯棒性的特點，非常適合用于復雜活體器官腔體之內(nèi)的成像。
（來源：Light: Science & Applications）
進一步地，課題組還通過實驗證明在不顯著增加訓練圖像數(shù)量的情況下，他們的非監(jiān)督學習方案也可以提高光纖圖像重建的普適性。而這種普適性使得這種新方法可以有效應(yīng)對訓練圖像數(shù)據(jù)中未曾出現(xiàn)過的樣本，也可以提高數(shù)據(jù)采集的速度，以及簡化實驗裝置和步驟。
日前，相關(guān)論文以《基于無序光纖的無監(jiān)督全彩細胞圖像重建》（Unsupervised full-color cellular image reconstruction through disordered optical fiber）為題發(fā)在 Light: Science & Applications 上[1]，胡瀟文是第一作者，趙建擔任通訊作者。
圖 | 相關(guān)論文（來源：Light: Science & Applications）
光纖成像系統(tǒng)的重要性
盡管本次新方案使用了深度學習技術(shù)，但其本質(zhì)還是一款光纖成像系統(tǒng)。那么，該類系統(tǒng)到底有著怎樣的重要性？
由于生物成像的對象和環(huán)境存在多樣性的特點，人們曾研發(fā)出多種生物成像光學儀器，比如熒光顯微鏡、相干拉曼顯微鏡、相位顯微鏡等。
在各種不同類型的成像系統(tǒng)中，光纖成像系統(tǒng)在某些特殊的生物成像環(huán)境中，扮演著不可替代的重要作用。
具體來講，在臨床應(yīng)用和科研之中，人們經(jīng)常需要深入活體動物的器官腔體內(nèi)部或侵入動物的大腦皮層深處，去采集細胞和組織的圖像。
這些特殊的成像環(huán)境和成像對象，要求光學成像系統(tǒng)必須具備以下特點：圖像采集部分體積小、對生物體的損傷小。同時，還要求所采集的圖像數(shù)據(jù)，能夠沿著變化的路徑，長距離地傳輸?shù)缴矬w外。
因此，很多常見的成像系統(tǒng)例如光學顯微鏡，受限于體積或圖像傳輸方式，很難滿足以上要求。
與其他方案相比，光纖成像系統(tǒng)可以有效應(yīng)對上述苛刻的生物成像環(huán)境。
光纖直徑一般在一百微米到幾百微米之間，與其配套的光學元器件尺寸，也大多在幾百微米到幾毫米之間，這可以最大限度地減小對于生物體的損傷，因此特別適合對器官腔體內(nèi)部或?qū)嶒瀯游锏拇竽X皮層進行成像。
更重要的是，光纖本身具有極高的柔韌性和超長的光學信號傳輸距離，因此可以滿足特殊成像環(huán)境之下絕大部分的光學圖像數(shù)據(jù)傳輸。由此可見在臨床醫(yī)學和生物科研中，光纖成像系統(tǒng)有著巨大的潛在價值。
（來源：Light: Science & Applications）
光纖成像系統(tǒng)面臨的挑戰(zhàn)
此前，光纖成像系統(tǒng)面臨的挑戰(zhàn)主要來自光纖器件和圖像重建算法。在現(xiàn)有解決方案之中，兩種最常見的方案是多模光纖（Multimode Optical Fiber, MMF）和相干光纖束（Coherent Fiber Bundle, CFB）。
這兩種光纖都是成熟的商業(yè)化產(chǎn)品，成本也較低。而且，基于多模光纖和相干光纖束的解決方案，已經(jīng)在成像方面取得較大進展。尤其是多模光纖的直徑多數(shù)在 200 微米左右，因此可以最大限度地降低侵入損傷。
但是，二者又面臨著光纖器件本身帶來的局限性。多模光纖所面臨的最大挑戰(zhàn)在于，它對外界的微小擾動呈現(xiàn)出高度敏感性，任何微小的光纖曲度變化或環(huán)境溫度變化，都會顯著地改變光學圖像數(shù)據(jù)的傳輸過程，因此基于多模光纖打造的成像系統(tǒng)，存在魯棒性不佳的缺點。
在實際的生物成像中，基于多模光纖的方案一般把光纖長度局限在幾厘米左右，只有這樣才能提高魯棒性。
對于相干光纖束來說，其傳輸圖像的方式是把光纖束中每一個單獨的纖芯作為一個像素來傳遞信息。盡管這種方式更加簡單，但是單位面積內(nèi)的信息傳輸密度相對較低。
并且，相鄰的纖芯之間存在倏逝波耦合的問題，為了減小倏逝波耦合，針對相干光纖束的設(shè)計必須滿足以下兩個條件：其一要保持每根纖芯之間的間距，這就導致光纖直徑比較大，大多在幾百微米到幾毫米之間；其二，在這種方案中只能對某一個波段優(yōu)化，因此很難適應(yīng)于寬光譜的光源。
而在圖像算法上，傳統(tǒng)的基于物理模型的方法，存在圖像重建質(zhì)量不高的問題，所以難以高質(zhì)量地處理復雜的生物圖像。
近年來，基于深度學習的算法，人們在光纖成像系統(tǒng)的圖像重建上取得了不少成果。采用深度學習算法的好處在于，既能處理光纖系統(tǒng)所對應(yīng)的復雜物理過程，又能得到高質(zhì)量的生物圖像。
盡管已經(jīng)取得了長足的進步，但是現(xiàn)有的深度學習方案大多基于監(jiān)督學習，因此需要大量嚴格標記的圖像數(shù)據(jù)，以便進行深度學習模型的訓練。
這給實驗系統(tǒng)的設(shè)計、校準和數(shù)據(jù)采集，帶來了極大的負擔。既增加了系統(tǒng)結(jié)構(gòu)和系統(tǒng)校準的復雜度，又延長了數(shù)據(jù)的采集時間，嚴重阻礙著基于深度學習的光纖成像系統(tǒng)的推廣。
（來源：Light: Science & Applications）
一個 YouTube 視頻帶來的靈感
正是基于這樣的背景，趙建開展了本次研究。
2016 年夏，趙建加入美國中佛羅里達大學阿克塞爾·舒爾茨根（Axel Schülzgen）教授課題組，后者讓趙建研究基于玻璃和空氣結(jié)構(gòu)的安德森局域光纖及其潛在應(yīng)用。
更早之前，Axel 的合作者新墨西哥大學的阿瑞仕·馬斐（ Arash Mafi）教授，研發(fā)了基于高分子聚合物材料的安德森局域光纖。
那時，Arash 團隊初步證實了安德森局域光纖的圖像傳輸能力，并證明光纖內(nèi)的模式是以單模為主，因此具有較高的魯棒性。
但是，由高分子聚合物材料構(gòu)成的光纖，在可見光波段的功率損耗極大，傳播距離也比較短，所能傳輸和展示的圖像也僅僅局限于簡單的黑白雙色數(shù)字圖像。
因此，要想研究安德森局域光纖的相關(guān)物理問題，并推動它在實際光纖成像中的應(yīng)用，就必須發(fā)展基于玻璃材料的安德森局域光纖。
盡管 Arash 團隊曾研究過玻璃的安德森局域光纖，但是受限于制作工藝，只有在光纖橫截面的某些局部區(qū)域，他們的玻璃光纖器件才能觀察到安德森局域現(xiàn)象，而這遠遠無法用于圖像傳輸。
在趙建接手這個項目之后，他調(diào)研了一些相關(guān)文獻，并和中佛羅里達大學的羅德里戈·阿梅茲夸·科雷亞（Rodrigo Amezcua Correa ）教授團隊開展合作。
經(jīng)過多次嘗試之后，趙建等人終于找到正確的方法，來制作具有圖像傳輸功能的高質(zhì)量 GALOF 光纖。期間，他們造出了第一種能用于實際光纖成像的 GALOF。
在 GALOF 的幫助之下，他們初步搭建了透射式的圖像傳輸系統(tǒng)。而在光學圖像傳輸過程之中，光纖的機械彎折和溫度變化也具有不錯的穩(wěn)定性，并且圖像傳輸?shù)馁|(zhì)量超過了傳統(tǒng)光纖。
趙建的合作者也證明：GALOF 內(nèi)部是以單模為主，其局域模式即便在很寬的光譜范圍內(nèi)，也不會發(fā)生較大變化，這意味著 GALOF 具備高質(zhì)量傳輸圖像的巨大潛力。
大約六年之前，在圖像的處理上，深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)大放異彩。但是，當時在光學上的應(yīng)用仍是方興未艾。
與此同時，該團隊也意識到采用傳統(tǒng)的圖像處理方法，很難得到理想的光纖圖像重建結(jié)果。
為此，他們開發(fā)了基于監(jiān)督學習的 U-Net 模型架構(gòu)，進一步地研發(fā)了 GALOF 透射式成像系統(tǒng)，可以高質(zhì)量地傳輸復雜的生物圖像。
在光纖大角度機械彎折、光纖溫度變化、以及樣品距離變化的情況下，課題組進一步證明基于監(jiān)督學習的 GALOF 成像系統(tǒng)，在圖像傳輸中具有優(yōu)越的魯棒性。
（來源：Light: Science & Applications）
之后，趙建意識到監(jiān)督學習模型在光纖成像中的局限性。2019 年，他開始關(guān)注生成對抗網(wǎng)絡(luò)（Generative adversarial network，GAN）技術(shù)、以及各種衍生技術(shù)的發(fā)展。
作為生成對抗網(wǎng)絡(luò)的衍生技術(shù)，CyleGAN 技術(shù)可以助推非監(jiān)督學習光纖成像系統(tǒng)的研發(fā)。如前所述，基于監(jiān)督學習模型的方案存在種種弊端。而采用 CyleGAN 技術(shù)研發(fā)的方案，可以克服上述不足。
而決定采用 CyleGAN 技術(shù)，也來源于趙建的一次視頻學習經(jīng)歷。他說：“有一天，我在看一個關(guān)于 CycleGAN 的視頻，忽然意識到這或許可以用來生成非監(jiān)督學習的 GALOF 光纖成像解決方案。當時，我已經(jīng)完成了反射式的系統(tǒng)并且擁有一些實驗數(shù)據(jù)。于是，我試著寫了代碼并用一些黑白雙色數(shù)字圖像的實驗數(shù)據(jù)進行測試，而這也是此次工作的最初起源。”
于是，在研發(fā) GALOF 成像系統(tǒng)的基礎(chǔ)之上，他們進一步開發(fā)了 Restore-CycleGAN-GALOF 方案，該方案基于非監(jiān)督學習 Restore-CycleGAN 的架構(gòu)。
此外，趙建等人還研發(fā)出透射式和反射式兩種系統(tǒng)，在單次、小樣本、無標記的模型訓練基礎(chǔ)之上，實現(xiàn)了高質(zhì)量、高魯棒性、高普適性的彩色生物圖像傳輸。
2019 年秋天，趙建的師弟胡瀟文開始接棒，后者推進并完成了基于 CyleGAN 架構(gòu)的非監(jiān)督學習 GALOF 成像工作。
趙建表示：“瀟文最重要的貢獻在于開發(fā)了 Restore-CycleGAN 模型以及數(shù)據(jù)預處理的方法，借此徹底實現(xiàn)了彩色的高質(zhì)量光纖生物成像。”
此外，胡瀟文還發(fā)展了新的反射式實驗裝置，該裝置的意義在于它比透射式的裝置更加符合生物學成像的實際需求。此前胡瀟文已經(jīng)獲得博士學位，目前就職于位于美國加州的荷蘭光刻機公司 ASML。
接下來，趙建及其所在團隊將進一步優(yōu)化 GALOF 的制造工藝，通過改善器件性能，來發(fā)展更緊湊的小型化器件，并將發(fā)展對應(yīng)的新型非監(jiān)督學習算法，以便提高系統(tǒng)對于實際生物成像的適應(yīng)性，同時提高對應(yīng)的成像表現(xiàn)。此外，課題組未來還將展開動物成像的研究，從固定的細胞和組織樣品邁向活體模型動物。
參考資料：
1.Hu, X., Zhao, J., Antonio-Lopez, J.E. et al. Unsupervised full-color cellular image reconstruction through disordered optical fiber. Light Sci Appl 12, 125 (2023). https://doi.org/10.1038/s41377-023-01183-6
責任編輯：Rex_22
營業(yè)執(zhí)照公示信息