光子計算研究再登Nature，要革命AI硬件。

芯東西1月7日消息，人工智能（AI）正改變臨床診斷、自動駕駛、語音翻譯等更多領(lǐng)域，而計算速度和功耗日益成為AI的主要瓶頸。傳統(tǒng)電子計算方法逐漸走向性能極限后，近幾年，關(guān)于用光學芯片加速AI的研究逐漸興起。

這不，2021年剛開年，科學期刊《Nature》上就在一天之內(nèi)連發(fā)兩篇利用光學特性加速AI處理的光子芯片論文。

其中一篇論文題目為《用于光學神經(jīng)網(wǎng)絡的11 TOPS光子卷積加速器（11 TOPS photonic convolutional accelerator for optical neural networks）》，論文主要作者有Xingyuan Xu、Mengxi Tan等人，來自澳大利亞斯威本科技大學、蒙納士大學、墨爾本理工大學、香港城市大學、等科研院所。

該論文展示了一種通用光學向量卷積加速器，其計算速度可超過10 TOPS（每秒10萬億次運算），能生成足以進行人臉識別的25萬個像素的圖像卷積。研究人員使用相同硬件運行一個有10個輸出神經(jīng)元的光學卷積神經(jīng)網(wǎng)絡，識別手寫數(shù)字圖像的準確率達88%。

另一篇論文名為《利用積分光子張量核的并行卷積處理（Parallel convolutional processing using an integrated photonic tensor core）》，論文主要作者有J. Feldmann等人，來自美國匹茲堡大學、德國明斯特大學、英國牛津大學、埃克塞特大學、瑞士洛桑EPFL及蘇黎世IBM研究實驗室等科研院所。

該論文介紹了一個基于張量核心的計算專用集成光子硬件加速器，通過將相變材料與光子結(jié)構(gòu)結(jié)合，運算速度可達每秒數(shù)萬億次乘累加運算（每秒1012次MAC運算或每秒tera-MAC運算）。

01.

光學頻率梳為光子計算帶來新機遇

因性能出色，人工神經(jīng)網(wǎng)絡被廣泛用于AI處理任務，這些網(wǎng)絡使用多層相互連接的人工神經(jīng)元執(zhí)行復雜的數(shù)學運算，使用大多數(shù)計算資源的基本運算稱為矩陣矢量乘法。

為了加速人工神經(jīng)網(wǎng)絡計算任務，人們已經(jīng)進行了各種努力來設計和實現(xiàn)特定的電子計算系統(tǒng)，尤其在專用集成電路、類腦計算和存內(nèi)計算定制芯片方面已取得相當大的成功。

電子是電子計算中信息的載體，而光子長期以來一直被視為替代選擇。

光譜涵蓋了廣泛的波長范圍，因此許多不同波長的光子可以同時進行多路復用（并行傳輸）和調(diào)制（以使其可以攜帶信息的方式進行更改），而不會相互干擾光信號。信息以光速傳播則可以帶來最小的時間延遲。

此外，無源傳輸（不需要輸入功率）有助于超低功耗，且相位調(diào)制（從而改變了光波的量子力學相位）使得光在頻率大于40 GHz時易于調(diào)制和檢測。

過去幾十年，光學通信取得了巨大的成功，但使用光子進行計算仍具有挑戰(zhàn)性，尤其是在與的電子處理器相當?shù)囊?guī)模和性能水平上。

這種困難來自于缺乏合適的并行計算機制、材料來允許人工神經(jīng)元進行高速非線性（復雜）響應，以及將可擴展光子器件集成到計算硬件中。

幸運的是，過去幾年中稱為光學頻率梳設備的發(fā)展為集成光子處理器帶來了新的機遇。

光學頻率梳是一組具有發(fā)射光譜的光源，由成千上萬條頻率均勻且緊密間隔的清晰光譜線組成。這些設備在光譜學、光學時鐘計量學和電信等各個領(lǐng)域都取得巨大的成功，并獲得了2005年諾貝爾物理學獎。

光學頻率梳可被集成到計算機芯片，并作為用于光子計算的高功率效率的能源。該系統(tǒng)非常適合于通過波長復用進行數(shù)據(jù)并行處理。

02.

單個光子處理器內(nèi)核算力超10 TOPS

在論文《用于光學神經(jīng)網(wǎng)絡的11 TOPS光子卷積加速器》中，Xu及其同事使用這樣的設置來生產(chǎn)通用集成光子處理器。該設備執(zhí)行一種矩陣-向量乘法，用于圖像處理應用的矩陣卷積。

作者采用了一種巧妙的方法來進行卷積。他們首先使用色散（傳輸光的速度取決于其波長）來為波長復用的光信號產(chǎn)生不同的時間延遲。然后，他們沿著與光的波長相關(guān)的維度組合這些信號。

▲光學CNN結(jié)構(gòu)

通過充分利用大范圍的光子波長，Xu等人實現(xiàn)了針對不同卷積運算的并行計算。使用單個處理內(nèi)核，光子計算速度超過10 TOPS，能在超過14千兆赫的帶寬下工作，且僅受數(shù)據(jù)吞吐量的限制。

這項工作另一個受歡迎的特點是，作者在實際應用中確定了其光子卷積處理器的入口點。特別是，他們建議處理器可以用于混合光電子框架，例如在光纖通信中進行原位計算。

03.

將相變材料存儲單元與光學頻率梳結(jié)合

在論文《利用積分光子張量核的并行卷積處理》中，F(xiàn)eldmann和他的同事獨立地制造了一個集成光子處理器，通過使用集成張量核心可進行并行卷積處理。

該設備在基于相變材料（可以在非晶相和結(jié)晶相之間切換的材料）的存內(nèi)計算架構(gòu)中使用光學頻率梳。作者通過波長復用對輸入數(shù)據(jù)進行充分的并行處理，并利用相變材料集成單元陣列進行了類似的矩陣-向量乘法運算。

這種高度并行化的框架可以在單個步驟中高速處理整個圖像。此外，原則上，在不久的將來，該系統(tǒng)可以使用商業(yè)制造程序進行大規(guī)模擴展，并將有助于現(xiàn)場機器學習。

▲用于在光照下運行矩陣乘法的處理器示意圖（圖源：牛津大學）

由于卷積過程涉及無源傳輸，理論上光子處理核心的計算能以光速和低功耗執(zhí)行。這種方法具有可擴展性和可訓練性，對于能源密集型應用非常有價值，如云計算、自動駕駛汽車、實時視頻識別等要求較高的應用。

該研究主要作者之一明斯特大學研究生Johannes Feldmann說：“利用光進行信號傳輸，使處理器能夠通過波長多路復用執(zhí)行并行數(shù)據(jù)處理，這帶來更高的計算密度，并且僅需一個時間步長，就能進行許多矩陣乘法。相比通常在低GHz工作的傳統(tǒng)電子設備，光調(diào)制速度可以達到50至100GHz范圍。”

04.

結(jié)語：光子芯片或成未來計算架構(gòu)可行路徑

這些研究結(jié)果表明，集成光子技術(shù)在需要大量數(shù)據(jù)的人工智能應用（如自動駕駛、實時視頻處理和下一代云計算服務）中具有并行、快速和高效計算硬件的潛力。

鑒于傳統(tǒng)電子計算方法面臨的挑戰(zhàn)，集成光子技術(shù)的出現(xiàn)令人興奮，它正成為實現(xiàn)未來計算架構(gòu)性能的一個潛在。

不過，構(gòu)建實用的光學計算機需要材料科學、光子學、電子學等領(lǐng)域的研究人員之間的廣泛跨學科努力和合作。

盡管報道的光子處理器具有較高的單位面積計算能力和潛在的可伸縮性，但是全光學計算規(guī)模（光學人工神經(jīng)元的數(shù)量）仍然很小。另外，因為存在固有地吸收光的計算元件，且電信號和光信號經(jīng)常需要轉(zhuǎn)換，能量效率會受到限制。

另一個研究途徑是發(fā)展*的非線性集成光子計算體系結(jié)構(gòu)，而非一維或二維的線性卷積。通過將電子電路和數(shù)千或數(shù)百萬個光子處理器集成到合適的體系結(jié)構(gòu)中，同時利用光子和電子處理器的混合光電框架可能在不久的將來，帶給AI硬件革命性的變化。這些硬件將在通信、數(shù)據(jù)中心操作和云計算等領(lǐng)域具有重要的應用。