“在科研之中，使用該技術有望發展出小型化的成像系統，以便安裝在活體動物上，進而有望對模型哺乳動物器官進行實時成像；在臨床應用中，該技術有望發展成更安全的內窺鏡系統，以用于臨床診斷或輔助手術操作。”MIT 博士后趙建表示。
來到 MIT 之前，他在美國中佛羅里達大學光學與激光教育研究中心（CREOL，Center for Research and Education in Optics and Lasers）獲得博士學位。其表示：“美國只有三個大學可以授予光學與光子學博士學位，CREOL 便是其中之一。CREOL 的光學項目在全美排名第九名，在這里可以學習到豐富的光學課程以及受到完備和扎實的學術訓練。”
圖 | 趙建（來源：趙建）
【資料圖】
正是在 CREOL 讀博期間，他和當時所在的團隊研發出基于非監督學習的新型光纖成像系統方案——Restore-CycleGAN-GALOF，也就是本文開頭提到的新技術。
這項新技術的研究背景在于，考慮到光纖成像系統（Fiber-Optic Imaging System, FOIS）的重要價值、以及此前的技術瓶頸，趙建等人研發了 Restore-CycleGAN-GALOF 的方案。
（來源：Light: Science & Applications）
無論是在硬件設計上，還是在深度學習算法上，該方案均具有一定創新之處。
在硬件設計上，課題組采用安德森局域光纖（GALOF）作為核心光纖器件。GALOF 具有隨機的微結構、以及極高的魯棒性，在光學圖像信息傳輸過程中，可以非常穩定地承受較強的光纖機械彎折和光纖溫度變化。
同時，GALOF 也能兼容寬光譜的光源，而且擁有很高的信息傳輸密度。在 GALOF 的基礎之上，該團隊進一步開發了透射式和反射式兩種成像系統。
在深度學習算法上，通過采用非監督學習的循環生成對抗網絡（CycleGAN），課題組開發了適合 GALOF 系統的 Restore-CycleGAN 深度學習模型，并將其用于圖像的重建。
這種基于非監督學習的新模型，突破了基于監督學習的光纖成像系統的技術瓶頸。通過將 Restore-CycleGAN 與 GALOF 成像系統進行有機結合，當采用此次新方案進行模型訓練時，無需依賴嚴格標記的訓練圖像，并能極大減小所需要的圖像數量。
詳細來說，Restore-CycleGAN-GALOF 方案使用 1000 組無標記的訓練圖像，只需單次訓練即可針對不同實驗條件下的生物樣本，進行高質量的彩色圖像傳輸。
相比基于監督學習的方案，Restore-CycleGAN-GALOF 方案在大大減少重復訓練次數的同時，還能將訓練圖像的數量至少壓縮十倍。
這種基于單次、無標記、小數據集的模型訓練方法，可以顯著提高成像速度，簡化實驗系統和實驗步驟，能夠更好地滿足實際需要。
基于非監督學習模型 Restore-CycleGAN，研究人員在大角度光纖機械彎折、以及樣品距離變化的情況之下，實現了彩色圖像的高質量傳輸。
這種高魯棒性的特點，非常適合用于復雜活體器官腔體之內的成像。
（來源：Light: Science & Applications）
進一步地，課題組還通過實驗證明在不顯著增加訓練圖像數量的情況下，他們的非監督學習方案也可以提高光纖圖像重建的普適性。而這種普適性使得這種新方法可以有效應對訓練圖像數據中未曾出現過的樣本，也可以提高數據采集的速度，以及簡化實驗裝置和步驟。
日前，相關論文以《基于無序光纖的無監督全彩細胞圖像重建》（Unsupervised full-color cellular image reconstruction through disordered optical fiber）為題發在 Light: Science & Applications 上[1]，胡瀟文是第一作者，趙建擔任通訊作者。
圖 | 相關論文（來源：Light: Science & Applications）
光纖成像系統的重要性
盡管本次新方案使用了深度學習技術，但其本質還是一款光纖成像系統。那么，該類系統到底有著怎樣的重要性？
由于生物成像的對象和環境存在多樣性的特點，人們曾研發出多種生物成像光學儀器，比如熒光顯微鏡、相干拉曼顯微鏡、相位顯微鏡等。
在各種不同類型的成像系統中，光纖成像系統在某些特殊的生物成像環境中，扮演著不可替代的重要作用。
具體來講，在臨床應用和科研之中，人們經常需要深入活體動物的器官腔體內部或侵入動物的大腦皮層深處，去采集細胞和組織的圖像。
這些特殊的成像環境和成像對象，要求光學成像系統必須具備以下特點：圖像采集部分體積小、對生物體的損傷小。同時，還要求所采集的圖像數據，能夠沿著變化的路徑，長距離地傳輸到生物體外。
因此，很多常見的成像系統例如光學顯微鏡，受限于體積或圖像傳輸方式，很難滿足以上要求。
與其他方案相比，光纖成像系統可以有效應對上述苛刻的生物成像環境。
光纖直徑一般在一百微米到幾百微米之間，與其配套的光學元器件尺寸，也大多在幾百微米到幾毫米之間，這可以最大限度地減小對于生物體的損傷，因此特別適合對器官腔體內部或實驗動物的大腦皮層進行成像。
更重要的是，光纖本身具有極高的柔韌性和超長的光學信號傳輸距離，因此可以滿足特殊成像環境之下絕大部分的光學圖像數據傳輸。由此可見在臨床醫學和生物科研中，光纖成像系統有著巨大的潛在價值。
（來源：Light: Science & Applications）
光纖成像系統面臨的挑戰
此前，光纖成像系統面臨的挑戰主要來自光纖器件和圖像重建算法。在現有解決方案之中，兩種最常見的方案是多模光纖（Multimode Optical Fiber, MMF）和相干光纖束（Coherent Fiber Bundle, CFB）。
這兩種光纖都是成熟的商業化產品，成本也較低。而且，基于多模光纖和相干光纖束的解決方案，已經在成像方面取得較大進展。尤其是多模光纖的直徑多數在 200 微米左右，因此可以最大限度地降低侵入損傷。
但是，二者又面臨著光纖器件本身帶來的局限性。多模光纖所面臨的最大挑戰在于，它對外界的微小擾動呈現出高度敏感性，任何微小的光纖曲度變化或環境溫度變化，都會顯著地改變光學圖像數據的傳輸過程，因此基于多模光纖打造的成像系統，存在魯棒性不佳的缺點。
在實際的生物成像中，基于多模光纖的方案一般把光纖長度局限在幾厘米左右，只有這樣才能提高魯棒性。
對于相干光纖束來說，其傳輸圖像的方式是把光纖束中每一個單獨的纖芯作為一個像素來傳遞信息。盡管這種方式更加簡單，但是單位面積內的信息傳輸密度相對較低。
并且，相鄰的纖芯之間存在倏逝波耦合的問題，為了減小倏逝波耦合，針對相干光纖束的設計必須滿足以下兩個條件：其一要保持每根纖芯之間的間距，這就導致光纖直徑比較大，大多在幾百微米到幾毫米之間；其二，在這種方案中只能對某一個波段優化，因此很難適應于寬光譜的光源。
而在圖像算法上，傳統的基于物理模型的方法，存在圖像重建質量不高的問題，所以難以高質量地處理復雜的生物圖像。
近年來，基于深度學習的算法，人們在光纖成像系統的圖像重建上取得了不少成果。采用深度學習算法的好處在于，既能處理光纖系統所對應的復雜物理過程，又能得到高質量的生物圖像。
盡管已經取得了長足的進步，但是現有的深度學習方案大多基于監督學習，因此需要大量嚴格標記的圖像數據，以便進行深度學習模型的訓練。
這給實驗系統的設計、校準和數據采集，帶來了極大的負擔。既增加了系統結構和系統校準的復雜度，又延長了數據的采集時間，嚴重阻礙著基于深度學習的光纖成像系統的推廣。
（來源：Light: Science & Applications）
一個 YouTube 視頻帶來的靈感
正是基于這樣的背景，趙建開展了本次研究。
2016 年夏，趙建加入美國中佛羅里達大學阿克塞爾·舒爾茨根（Axel Schülzgen）教授課題組，后者讓趙建研究基于玻璃和空氣結構的安德森局域光纖及其潛在應用。
更早之前，Axel 的合作者新墨西哥大學的阿瑞仕·馬斐（ Arash Mafi）教授，研發了基于高分子聚合物材料的安德森局域光纖。
那時，Arash 團隊初步證實了安德森局域光纖的圖像傳輸能力，并證明光纖內的模式是以單模為主，因此具有較高的魯棒性。
但是，由高分子聚合物材料構成的光纖，在可見光波段的功率損耗極大，傳播距離也比較短，所能傳輸和展示的圖像也僅僅局限于簡單的黑白雙色數字圖像。
因此，要想研究安德森局域光纖的相關物理問題，并推動它在實際光纖成像中的應用，就必須發展基于玻璃材料的安德森局域光纖。
盡管 Arash 團隊曾研究過玻璃的安德森局域光纖，但是受限于制作工藝，只有在光纖橫截面的某些局部區域，他們的玻璃光纖器件才能觀察到安德森局域現象，而這遠遠無法用于圖像傳輸。
在趙建接手這個項目之后，他調研了一些相關文獻，并和中佛羅里達大學的羅德里戈·阿梅茲夸·科雷亞（Rodrigo Amezcua Correa ）教授團隊開展合作。
經過多次嘗試之后，趙建等人終于找到正確的方法，來制作具有圖像傳輸功能的高質量 GALOF 光纖。期間，他們造出了第一種能用于實際光纖成像的 GALOF。
在 GALOF 的幫助之下，他們初步搭建了透射式的圖像傳輸系統。而在光學圖像傳輸過程之中，光纖的機械彎折和溫度變化也具有不錯的穩定性，并且圖像傳輸的質量超過了傳統光纖。
趙建的合作者也證明：GALOF 內部是以單模為主，其局域模式即便在很寬的光譜范圍內，也不會發生較大變化，這意味著 GALOF 具備高質量傳輸圖像的巨大潛力。
大約六年之前，在圖像的處理上，深度卷積神經網絡已經大放異彩。但是，當時在光學上的應用仍是方興未艾。
與此同時，該團隊也意識到采用傳統的圖像處理方法，很難得到理想的光纖圖像重建結果。
為此，他們開發了基于監督學習的 U-Net 模型架構，進一步地研發了 GALOF 透射式成像系統，可以高質量地傳輸復雜的生物圖像。
在光纖大角度機械彎折、光纖溫度變化、以及樣品距離變化的情況下，課題組進一步證明基于監督學習的 GALOF 成像系統，在圖像傳輸中具有優越的魯棒性。
（來源：Light: Science & Applications）
之后，趙建意識到監督學習模型在光纖成像中的局限性。2019 年，他開始關注生成對抗網絡（Generative adversarial network，GAN）技術、以及各種衍生技術的發展。
作為生成對抗網絡的衍生技術，CyleGAN 技術可以助推非監督學習光纖成像系統的研發。如前所述，基于監督學習模型的方案存在種種弊端。而采用 CyleGAN 技術研發的方案，可以克服上述不足。
而決定采用 CyleGAN 技術，也來源于趙建的一次視頻學習經歷。他說：“有一天，我在看一個關于 CycleGAN 的視頻，忽然意識到這或許可以用來生成非監督學習的 GALOF 光纖成像解決方案。當時，我已經完成了反射式的系統并且擁有一些實驗數據。于是，我試著寫了代碼并用一些黑白雙色數字圖像的實驗數據進行測試，而這也是此次工作的最初起源。”
于是，在研發 GALOF 成像系統的基礎之上，他們進一步開發了 Restore-CycleGAN-GALOF 方案，該方案基于非監督學習 Restore-CycleGAN 的架構。
此外，趙建等人還研發出透射式和反射式兩種系統，在單次、小樣本、無標記的模型訓練基礎之上，實現了高質量、高魯棒性、高普適性的彩色生物圖像傳輸。
2019 年秋天，趙建的師弟胡瀟文開始接棒，后者推進并完成了基于 CyleGAN 架構的非監督學習 GALOF 成像工作。
趙建表示：“瀟文最重要的貢獻在于開發了 Restore-CycleGAN 模型以及數據預處理的方法，借此徹底實現了彩色的高質量光纖生物成像。”
此外，胡瀟文還發展了新的反射式實驗裝置，該裝置的意義在于它比透射式的裝置更加符合生物學成像的實際需求。此前胡瀟文已經獲得博士學位，目前就職于位于美國加州的荷蘭光刻機公司 ASML。
接下來，趙建及其所在團隊將進一步優化 GALOF 的制造工藝，通過改善器件性能，來發展更緊湊的小型化器件，并將發展對應的新型非監督學習算法，以便提高系統對于實際生物成像的適應性，同時提高對應的成像表現。此外，課題組未來還將展開動物成像的研究，從固定的細胞和組織樣品邁向活體模型動物。
參考資料：
1.Hu, X., Zhao, J., Antonio-Lopez, J.E. et al. Unsupervised full-color cellular image reconstruction through disordered optical fiber. Light Sci Appl 12, 125 (2023). https://doi.org/10.1038/s41377-023-01183-6
責任編輯：Rex_22
營業執照公示信息