ChatGPT 等人工智能的應(yīng)用正在快速地改變我們的生活方式和信息處理的方法。由于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)依賴于大規(guī)模矩陣運(yùn)算，對(duì)計(jì)算能量效率和速度有極高的要求。
(相關(guān)資料圖)
圖｜硅光 48 通道智能發(fā)射器示意圖（來源：是Alex Sludds）
目前大部分神經(jīng)網(wǎng)絡(luò)的計(jì)算都是在服務(wù)器進(jìn)行。例如，當(dāng)我們向 ChatGPT（或者智能家電）提出問題時(shí)，設(shè)備需要幾秒鐘的時(shí)間才能做出響應(yīng)。出現(xiàn)這種延遲的原因之一是聯(lián)網(wǎng)設(shè)備沒有足夠的內(nèi)存或電量來存儲(chǔ)和運(yùn)行設(shè)備理解用戶要求所需的龐大機(jī)器學(xué)習(xí)模型。該模型存儲(chǔ)在可能位于數(shù)千公里外的數(shù)據(jù)中心，在那里計(jì)算答案并將其發(fā)送到設(shè)備。該延時(shí)雖不大，但限制了很多需要實(shí)時(shí)反饋的場景，如自動(dòng)駕駛。
（來源：Science）
因此，麻省理工學(xué)院的研究團(tuán)隊(duì)基于集成硅光芯片，創(chuàng)造了一種直接在這些設(shè)備上進(jìn)行計(jì)算的新方法（光學(xué)邊緣計(jì)算），從而大大減少了這種延遲。他們的技術(shù)將運(yùn)行機(jī)器學(xué)習(xí)模型的內(nèi)存密集型步驟轉(zhuǎn)移到中央服務(wù)器，在中央服務(wù)器上模型的組件被編碼到光波上。使用光纖將波傳輸?shù)竭B接的設(shè)備，這使得大量數(shù)據(jù)能夠通過網(wǎng)絡(luò)以光帶寬（2.4TB/s）發(fā)送。然后接收器使用一個(gè)簡單的光學(xué)設(shè)備，該設(shè)備使用這些光波攜帶的模型部分快速執(zhí)行計(jì)算。
與其他方法相比，該技術(shù)可將能源效率提高一百倍以上。它還可以提高安全性，因?yàn)橛脩舻臄?shù)據(jù)不需要傳輸?shù)街醒胛恢眠M(jìn)行計(jì)算。這種方法可以使自動(dòng)駕駛汽車實(shí)時(shí)做出決策，同時(shí)僅使用耗電計(jì)算機(jī)當(dāng)前所需能量的 1%。它還可以讓用戶與他們的智能家居設(shè)備進(jìn)行無延遲對(duì)話，用于通過蜂窩網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)視頻處理，甚至可以在距離地球數(shù)百萬英里的航天器上實(shí)現(xiàn)高速圖像分類。
（來源：Science）
“每次你想運(yùn)行一個(gè)神經(jīng)網(wǎng)絡(luò)，你都必須調(diào)用模型，你能以多快的速度運(yùn)行這個(gè)程序取決于你能以多快的速度從內(nèi)存中輸入模型。我們的管道很大——相當(dāng)于每毫秒左右通過互聯(lián)網(wǎng)發(fā)送一部完整的電影。這就是數(shù)據(jù)進(jìn)入我們系統(tǒng)的速度。而且它的計(jì)算速度也可以這么快，” MIT 團(tuán)隊(duì)負(fù)責(zé)人教授德克·英格倫 (Dirk Englund) 說。
邊緣計(jì)算（edge computing）是近年來人工智能芯片領(lǐng)域的熱門方向之一。這種運(yùn)算模式把神經(jīng)網(wǎng)絡(luò)運(yùn)行在智能終端處理器比如智能手機(jī)、自動(dòng)駕駛汽車上，通過實(shí)現(xiàn)去中心化計(jì)算，可以大大增加用戶信息的安全性，同時(shí)減少數(shù)據(jù)中心的計(jì)算量，縮小數(shù)據(jù)處理的延時(shí)等。
谷歌推出的特種處理器芯片 Edge TPU、以及 NVIDIA 的 EDX 芯片等都是面向上述應(yīng)用。然而，當(dāng)電學(xué)芯片運(yùn)算大規(guī)模權(quán)重矩陣時(shí)，其能量損耗和計(jì)算速度已經(jīng)達(dá)到瓶頸，這影響了智能邊緣設(shè)備的續(xù)航時(shí)間并會(huì)導(dǎo)致計(jì)算延時(shí)，進(jìn)而增加智能終端的體積，重量和功率。本文中，麻省理工團(tuán)隊(duì)的光學(xué)服務(wù)器-客戶端架構(gòu)主要實(shí)現(xiàn)了：
（1）一個(gè)硅光集成芯片為基礎(chǔ)的“智能發(fā)射器”（smart transceiver）用于電-光轉(zhuǎn)換，通過波分復(fù)用把權(quán)重?cái)?shù)據(jù)傳輸，用光纖傳到毫瓦級(jí)別的終端處理器，其中的數(shù)據(jù)傳送光學(xué)帶寬達(dá)到 2.4THz（48 通道，50GHz 每通道）。（2）他們把 AI 模型從 MIT 校園傳送到林肯實(shí)驗(yàn)室（86 公里）的終端做計(jì)算。（3）該架構(gòu)實(shí)現(xiàn)了 99% 的圖像識(shí)別準(zhǔn)確度。通過采用自制的光電積分器，乘法器的每次乘法運(yùn)算低于一個(gè)光子數(shù)。
圖｜MIT 光學(xué) AI 團(tuán)隊(duì)成員（來源：作者）
近日，相關(guān)論文以《在互聯(lián)網(wǎng)邊緣的單域光子深度學(xué)習(xí)》（Delocalized photonic deep learning on the internet"s edge）為題發(fā)在 Science 上 [1]。
亞歷克斯·斯拉德斯是第一作者兼共同通訊，瑞安·哈默利和 MIT 德克·英格倫（Dirk Englund）教授擔(dān)任共同通訊作者，陳在俊為共同作者。
圖 | 相關(guān)論文（來源：Science）
本次課題始于 2019 年。陳在俊說：“Netcast 是針對(duì)邊緣運(yùn)算提出的光學(xué)解決方法，它能提供實(shí)時(shí)運(yùn)算并減少能量負(fù)荷，可被用于邊緣運(yùn)算的各個(gè)場景，包括智能傳感、蜂窩網(wǎng)絡(luò)通信、航空航天、智能家居等。實(shí)驗(yàn)過程中有幾個(gè)標(biāo)志性的 milestones。”
第一步，通過采用硅光芯片實(shí)現(xiàn)了高精確率的 16 波長的光學(xué)數(shù)據(jù)傳輸、以及浮點(diǎn)數(shù)值乘法器，該計(jì)算精度在模擬計(jì)算里相對(duì)較高，可以滿足幾乎所有 AI 算法的需求。
第二步，他們把智能網(wǎng)絡(luò)通過光纖進(jìn)行長距離（86 千米）傳輸?shù)搅挚蠈?shí)驗(yàn)室，并保持同樣的計(jì)算精度。第三步，該團(tuán)隊(duì)采用單光子計(jì)數(shù)器，在實(shí)驗(yàn)里實(shí)現(xiàn)了平均低于一個(gè)光子數(shù)的乘法器。
另據(jù)悉，該項(xiàng)目得到進(jìn)一步資助，目前 MIT Englund 組和南加州大學(xué)陳在俊課題組正合作研發(fā)下一代高度集成的邊緣計(jì)算芯片。
參考資料：
1.Sludds, A., Bandyopadhyay, S., Chen, Z., Zhong, Z., Cochrane, J., Bernstein, L., ... & Englund, D. (2022). Delocalized photonic deep learning on the internet』s edge.Science, 378(6617), 270-276.
責(zé)任編輯：Rex_15
營業(yè)執(zhí)照公示信息