近年來，人工智能的發(fā)展如火如荼。人工智能不僅極大的便利了人們的生產(chǎn)生活，同時(shí)也成為科學(xué)探索與研究的有力工具。當(dāng)前，各個(gè)學(xué)科領(lǐng)域都在以其各自的方式積極與人工智能領(lǐng)域相交叉、結(jié)合，以期能夠?qū)ふ倚碌闹卮罂茖W(xué)突破。

圖1. 人工智能與多領(lǐng)域的交叉融合藝術(shù)效果圖

在與人工智能交叉融合的道路上，作為基礎(chǔ)研究重要領(lǐng)域的光學(xué)走在了前列。目前光學(xué)與人工智能的結(jié)合主要包括兩個(gè)方面：

一個(gè)方面是以人工智能為主體，利用光子來賦能AI，用光子或光路代替?zhèn)鹘y(tǒng)電子計(jì)算來實(shí)現(xiàn)更高效率的人工智能計(jì)算；

另一個(gè)方面是以光學(xué)為主體，利用人工智能算法來加速光學(xué)器件的設(shè)計(jì)與優(yōu)化。

通過這兩方面相輔相成的發(fā)展，光學(xué)與人工智能相互促進(jìn)，實(shí)現(xiàn)了兩個(gè)學(xué)科的合作共贏。

近期，來自美國斯坦福大學(xué)的Jonathan A. Fan團(tuán)隊(duì)在 Nature Reviews Materials 上發(fā)表綜述文章 Deep neural networks for the evaluation and design of photonic devices，系統(tǒng)總結(jié)并梳理了應(yīng)用人工智能算法來加速光子器件設(shè)計(jì)的發(fā)展歷史、研究方法和問題挑戰(zhàn)，同時(shí)根據(jù)近年來光學(xué)和人工智能領(lǐng)域的新進(jìn)展，對(duì)這一領(lǐng)域的未來做了展望。

圖2（封面）.光子器件設(shè)計(jì)藝術(shù)效果圖

光子學(xué)在許多科學(xué)技術(shù)領(lǐng)域有著深刻的應(yīng)用價(jià)值：

·集成光子系統(tǒng)使新型光源、通信和量子光處理器成為可能；

·亞波長尺度的金屬和介質(zhì)復(fù)合材料可以以可定制和的方式散射和束縛電磁波，實(shí)現(xiàn)光與物質(zhì)的相互作用；

·超材料和超表面可以實(shí)現(xiàn)精確的波前調(diào)控。

光子系統(tǒng)通常通過如下兩個(gè)問題中的一個(gè)來分析。

個(gè)是正問題：給定一個(gè)結(jié)構(gòu)，它的電磁響應(yīng)是什么?

這是兩個(gè)問題中比較容易的一個(gè)，可以用許多成熟的數(shù)值電磁仿真軟件或算法來解決。這些仿真可以準(zhǔn)確地評(píng)估麥克斯韋方程組，但在評(píng)估大型光學(xué)結(jié)構(gòu)和大批量仿真時(shí)，其所需要的計(jì)算資源非常大，計(jì)算時(shí)間和成本很高。

第二個(gè)是逆問題：給定一個(gè)理想的電磁響應(yīng)，如何設(shè)計(jì)一個(gè)合適的光子結(jié)構(gòu)?

由于解空間是非凸的，也就是說存在許多局部解，因此逆問題的解不能直接求出，并且求解過程非常具有挑戰(zhàn)性。解決這個(gè)問題的方法通常被框定為一種優(yōu)化練習(xí)，包括模擬退火、進(jìn)化、目標(biāo)優(yōu)先和伴隨變量算法。盡管目前人們?cè)谇蠼饽鎲栴}方面已經(jīng)取得了很大的進(jìn)展，但在給定目標(biāo)和約束條件下，確定的器件結(jié)構(gòu)仍然具有很大的挑戰(zhàn)性。

實(shí)現(xiàn)機(jī)理

深度神經(jīng)網(wǎng)絡(luò)是一種通用的機(jī)器學(xué)習(xí)算法，它利用非線性處理層的串行疊加，實(shí)現(xiàn)對(duì)高度非線性數(shù)據(jù)關(guān)系的捕獲和建模。深層神經(jīng)網(wǎng)絡(luò)由多層神經(jīng)元串聯(lián)而成。神經(jīng)元是一個(gè)數(shù)學(xué)函數(shù),將一個(gè)或多個(gè)值作為其輸入,執(zhí)行對(duì)這些輸入值的加權(quán)和非線性操作并產(chǎn)生一個(gè)輸出值(如圖3)。

圖3. 神經(jīng)網(wǎng)絡(luò)原理示意圖

出于以下原因，深度神經(jīng)網(wǎng)絡(luò)有可能對(duì)光子技術(shù)的仿真和設(shè)計(jì)過程產(chǎn)生強(qiáng)烈影響。

首先，從機(jī)器人控制、藥物發(fā)現(xiàn)到圖像分類和語言翻譯，深度學(xué)習(xí)是許多領(lǐng)域中捕捉、插值和優(yōu)化高度復(fù)雜現(xiàn)象的、一種經(jīng)過驗(yàn)證的方法。特別是考慮到最近數(shù)據(jù)科學(xué)領(lǐng)域的爆炸性進(jìn)步，這些算法只會(huì)變得更加強(qiáng)大。

第二，深度學(xué)習(xí)是廣泛、開源的。從TensorFlow到PyTorch的軟件都是開源的，可以免費(fèi)使用，這意味著任何人都可以開始實(shí)現(xiàn)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)。此外，機(jī)器學(xué)習(xí)社區(qū)的研究人員踐行著開放和共享的理念，使許多的算法公開可用并易于訪問。還有許多教育資源，包括大學(xué)課程和網(wǎng)絡(luò)課程，幫助研究人員了解神經(jīng)網(wǎng)絡(luò)的理論和實(shí)現(xiàn)。

第三，光子結(jié)構(gòu)可以很容易利用廣泛的電磁仿真工具進(jìn)行比較和評(píng)估。這些廣泛使用的電磁仿真工具可以量化結(jié)構(gòu)的近場(chǎng)和遠(yuǎn)場(chǎng)電磁響應(yīng)，這有助于逆問題的解決。此外，電磁仿真工具還可以用來計(jì)算解析和數(shù)值梯度，例如介電擾動(dòng)對(duì)理想價(jià)值的影響。正如我們將要討論的，這種梯度項(xiàng)的計(jì)算可以與深度學(xué)習(xí)相結(jié)合，從而產(chǎn)生全新而有效的逆設(shè)計(jì)模式，如全局拓?fù)鋬?yōu)化。電磁仿真軟件工具與深度學(xué)習(xí)編程包的實(shí)現(xiàn)，通過使用許多主流計(jì)算軟件自帶的應(yīng)用程序編程接口，得以簡化。

第四，有廣泛可訪問的計(jì)算資源，可以執(zhí)行大量的電磁計(jì)算，這可以充分發(fā)揮深度學(xué)習(xí)方法的優(yōu)勢(shì)。云計(jì)算的普及使得任何有互聯(lián)網(wǎng)連接的人都可以并行處理許多電磁仿真計(jì)算。此外，新的計(jì)算硬件平臺(tái)的出現(xiàn)，如GPU和TPU計(jì)算平臺(tái)，將大大提高電磁仿真和神經(jīng)網(wǎng)絡(luò)訓(xùn)練的計(jì)算效率和能力。

用神經(jīng)網(wǎng)絡(luò)建模的光子器件由兩種類型的標(biāo)簽描述(如圖4)。

圖4. 基于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)光子器件機(jī)理總覽

類包括描述該裝置的物理變量，它包括該裝置的幾何形狀、材料和電磁激勵(lì)源。這些標(biāo)簽由變量x描述。

第二類描述與光譜和性能特征范圍相對(duì)應(yīng)的物理響應(yīng)。這些標(biāo)簽描述的變量y。在電磁學(xué)中,光學(xué)響應(yīng)可以被描述為一個(gè)單值函數(shù)的物理變量,所以給定輸入x映射到一個(gè)y。例如,一個(gè)薄膜堆棧與一個(gè)固定的幾何和材料配置生成一個(gè)單一的透射譜。然而，其逆過程卻并不成立：對(duì)于電磁學(xué)中的大多數(shù)問題，給定的物理響應(yīng)y映射到多個(gè)x。因此，根據(jù)網(wǎng)絡(luò)處理的設(shè)備標(biāo)簽的類型，需要考慮不同類別的神經(jīng)網(wǎng)絡(luò)。在電磁學(xué)中，的兩類神經(jīng)網(wǎng)絡(luò)是判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)。

深度神經(jīng)網(wǎng)絡(luò)在解決光子學(xué)的正、逆設(shè)計(jì)問題上是一種性的力量。

在過去的幾年里，判別式網(wǎng)絡(luò)已經(jīng)被證明是麥克斯韋仿真工具的有效替代模型，可以學(xué)習(xí)和推廣納米尺度光學(xué)結(jié)構(gòu)及其光學(xué)特性之間的復(fù)雜關(guān)系；

而通過學(xué)習(xí)光學(xué)器件數(shù)據(jù)的幾何特征和使用麥克斯韋仿真軟件進(jìn)行無數(shù)據(jù)網(wǎng)絡(luò)訓(xùn)練，生成網(wǎng)絡(luò)模型已被證明是自由空間光學(xué)器件逆設(shè)計(jì)的一種新框架。

優(yōu)缺點(diǎn)分析

基于神經(jīng)網(wǎng)絡(luò)的計(jì)算模型并不是傳統(tǒng)電磁仿真的通用替代工具，傳統(tǒng)的電磁仿真將繼續(xù)是解決大多數(shù)問題的主要工具，但它們具有互補(bǔ)的優(yōu)勢(shì)和缺點(diǎn)。

神經(jīng)網(wǎng)絡(luò)的主要缺點(diǎn)是，它們需要數(shù)千到數(shù)百萬個(gè)設(shè)備的大型訓(xùn)練集，這是一個(gè)巨大的一次性計(jì)算成本。如果傳統(tǒng)的仿真和優(yōu)化方法可以用相當(dāng)或更小的計(jì)算預(yù)算來解決問題，那么堅(jiān)持傳統(tǒng)方法是更加明智的。

另一個(gè)方面，即使是訓(xùn)練得網(wǎng)絡(luò)也不能保證準(zhǔn)確性，當(dāng)需要精確的物理計(jì)算時(shí)，也不應(yīng)該用它來代替電磁仿真。應(yīng)該指出,低維電磁系統(tǒng)所描述的一小部分設(shè)計(jì)參數(shù)通常可以使用一些諸如機(jī)器學(xué)習(xí)和優(yōu)化包的經(jīng)典統(tǒng)計(jì)工具來建模和優(yōu)化。與深度網(wǎng)絡(luò)的訓(xùn)練方法相比，該方法不需要進(jìn)行大量的超參數(shù)調(diào)整，且訓(xùn)練效果良好。

基于神經(jīng)網(wǎng)絡(luò)的模型也有許多優(yōu)點(diǎn)，使它們無二地適合于許多問題。

首先，訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)的仿真運(yùn)行速度快幾個(gè)數(shù)量級(jí)，在仿真時(shí)間過長的情況下是理想的替代方法。

其次，神經(jīng)網(wǎng)絡(luò)的回歸能力超過了經(jīng)典的數(shù)據(jù)擬合方法，可以擴(kuò)展到復(fù)雜的高維系統(tǒng)，因?yàn)樯窠?jīng)網(wǎng)絡(luò)可以容納數(shù)千個(gè)具有可調(diào)參數(shù)的神經(jīng)元。

第三，神經(jīng)網(wǎng)絡(luò)在模擬和設(shè)計(jì)許多利用相關(guān)基礎(chǔ)物理的光學(xué)器件變體方面的計(jì)算效率特別高。從需要不同輸入模式條件的光柵耦合器到需要不同振幅和相位特性的超表面部分，這些器件變體都可以很容易地通過訓(xùn)練單個(gè)條件神經(jīng)網(wǎng)絡(luò)來共同設(shè)計(jì)。

第四，逆設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)方法可以產(chǎn)生整體性能更好的電磁器件。

圖5. 基于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)光子器件機(jī)理總覽

如圖5a所示是一種無條件深度神經(jīng)網(wǎng)絡(luò)，它從有限的光學(xué)器件參數(shù)訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)參數(shù)空間的區(qū)域，并通過采樣找到更好的器件設(shè)計(jì)參數(shù)。

而如圖5b所示的條件神經(jīng)網(wǎng)絡(luò)可以為訓(xùn)練集中的數(shù)據(jù)插入的條件參數(shù)標(biāo)簽從而生成新的器件設(shè)計(jì)參數(shù)分布。比如在這個(gè)原理圖中，條件神經(jīng)網(wǎng)絡(luò)可以通過學(xué)習(xí)工作波長在800和1000納米的訓(xùn)練集器件的分布，從而內(nèi)插工作在900納米的器件的分布。

然而在圖5c所示的經(jīng)典數(shù)據(jù)擬合、優(yōu)化等方法只能用于搜索訓(xùn)練網(wǎng)絡(luò)中的潛在空間以尋找器件設(shè)計(jì)參數(shù)，并且其搜索空間被限制在訓(xùn)練集的參數(shù)分布范圍內(nèi)。

此外，全局拓?fù)鋬?yōu)化神經(jīng)網(wǎng)絡(luò)已經(jīng)被證明可以取代傳統(tǒng)的基于梯度的優(yōu)化器。因此，基于神經(jīng)網(wǎng)絡(luò)的優(yōu)化的持續(xù)進(jìn)步有望帶來更好、計(jì)算效率更高的設(shè)計(jì)算法。

未來展望

盡管目前基于神經(jīng)網(wǎng)絡(luò)進(jìn)行光子器件設(shè)計(jì)已經(jīng)取得了很大進(jìn)展（如圖6所示），但是展望未來，Jonathan A. Fan認(rèn)為人們?nèi)匀恍枰喾矫娴膭?chuàng)新來推動(dòng)光子器件深度學(xué)習(xí)算法的能力，以實(shí)現(xiàn)復(fù)雜光學(xué)器件的逆設(shè)計(jì)。

圖6. 基于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)光子器件的歷史發(fā)展時(shí)間線

首先，雖然通用的機(jī)器學(xué)習(xí)算法將繼續(xù)在解決光子學(xué)問題中發(fā)揮作用，但人們需要需要發(fā)展將麥克斯韋方程組的基礎(chǔ)物理結(jié)構(gòu)與機(jī)器學(xué)習(xí)緊密結(jié)合的新概念。將機(jī)器學(xué)習(xí)與基于物理的仿真工具相結(jié)合的全局拓?fù)鋬?yōu)化網(wǎng)絡(luò)就是這樣一個(gè)例子，它展示了新的混合算法如何增強(qiáng)神經(jīng)網(wǎng)絡(luò)的能力。最近也有證據(jù)表明，神經(jīng)網(wǎng)絡(luò)可以被訓(xùn)練用于求解微分方程。為了將物理與神經(jīng)網(wǎng)絡(luò)相結(jié)合，人們需要在網(wǎng)絡(luò)架構(gòu)、訓(xùn)練程序和損失功能工程以及獨(dú)立或共同使用判別式和生成式網(wǎng)絡(luò)的全新方法方面有新的創(chuàng)新。基于物理計(jì)算的無數(shù)據(jù)訓(xùn)練用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，將成為利用機(jī)器學(xué)習(xí)解決光子問題的高效方法。

其次，人們需要開發(fā)運(yùn)行時(shí)間比傳統(tǒng)的全波求解器快得多的新的電磁仿真工具。快速求解器是必需的，因?yàn)殡S著設(shè)備復(fù)雜性的增加，需要更大的監(jiān)督學(xué)習(xí)訓(xùn)練集。未來，特定應(yīng)用的電磁解算器將在深度學(xué)習(xí)-光子問題的超高速解算器中扮演重要角色。一種方法是利用神經(jīng)網(wǎng)絡(luò)增強(qiáng)的預(yù)條件對(duì)現(xiàn)有的麥克斯韋求解器進(jìn)行擴(kuò)充。通過一種神經(jīng)網(wǎng)絡(luò)，它可以預(yù)測(cè)現(xiàn)有電磁問題的近似解，可以將該解作為求解器的起點(diǎn)，從而大大加快計(jì)算速度。一些計(jì)算效率高的計(jì)算結(jié)構(gòu)散射特性的專門算法，如積分方程解和轉(zhuǎn)移矩陣法，也值得仔細(xì)研究。

第三，從數(shù)據(jù)使用和用戶交互的角度來看，用于解決光子問題的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和改進(jìn)需要更好地簡化。目前，每提出一個(gè)新的機(jī)器學(xué)習(xí)問題，數(shù)據(jù)科學(xué)家都需要從頭開始訓(xùn)練和微調(diào)一個(gè)神經(jīng)網(wǎng)絡(luò)，這種方法費(fèi)時(shí)費(fèi)力，難以大規(guī)模推廣和應(yīng)用。然而，在最近的一個(gè)實(shí)驗(yàn)中，從一個(gè)可以預(yù)測(cè)同心圓殼散射體散射譜的訓(xùn)練網(wǎng)絡(luò)中獲得的網(wǎng)絡(luò)權(quán)值利用遷移學(xué)習(xí)轉(zhuǎn)移到一個(gè)擬預(yù)測(cè)介質(zhì)堆光譜特性的網(wǎng)絡(luò)中，從而提高了后者的訓(xùn)練精度。因此，神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)的應(yīng)用，將大大有助于自動(dòng)化基于光子的機(jī)器學(xué)習(xí)算法的設(shè)置和訓(xùn)練程。

最后，Jonathan A. Fan呼吁光學(xué)領(lǐng)域的科學(xué)家和研究人員從計(jì)算機(jī)科學(xué)社區(qū)文化中汲取靈感，參與共建一種更加開放的共享文化。在計(jì)算機(jī)科學(xué)領(lǐng)域，人工智能技術(shù)的極大進(jìn)步和發(fā)展，在某種程度上可以歸因于計(jì)算機(jī)科學(xué)家愿意通過解決同一個(gè)問題來公開分享算法和基準(zhǔn)方法。在計(jì)算機(jī)科學(xué)共享精神的啟發(fā)下，Jonathan A. Fan研究團(tuán)隊(duì)已經(jīng)開發(fā)了用于共享納米光子系統(tǒng)的器件設(shè)計(jì)和逆設(shè)計(jì)代碼的在線知識(shí)庫MetaNet（http://metanet.stanford.edu/）。

截至本文發(fā)表時(shí)，MetaNet已經(jīng)有超過100,000個(gè)自由形式的元化結(jié)構(gòu)的設(shè)計(jì)文件，以及用于局部和全局拓?fù)鋬?yōu)化的代碼。Jonathan A. Fan希望，通過光子社區(qū)內(nèi)的持續(xù)分享與交流，人們能夠就需要解決的重要設(shè)計(jì)問題、開放源代碼訓(xùn)練集和基本代碼制定達(dá)成一致，這樣人們就可以在彼此的算法方法、基礎(chǔ)上進(jìn)行下一步的迭代、優(yōu)化和提高。這樣，人們就可以通過合作有效地將光學(xué)器件的設(shè)計(jì)、優(yōu)化及發(fā)展推向一個(gè)新的階段。

結(jié)語

在這篇綜述文章中，首先，Jonathan A. Fan團(tuán)隊(duì)概述了判別式和生成式神經(jīng)網(wǎng)絡(luò)，如何設(shè)計(jì)實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)，以及如何通過不同的數(shù)據(jù)結(jié)構(gòu)類型來建模求解不同的電磁問題。

其次，文章討論了深度判別網(wǎng)絡(luò)作為電磁求解的模型如何加速了正、逆問題的求解。

第三，文章詳細(xì)介紹了生成對(duì)抗網(wǎng)絡(luò)如何成為逆向設(shè)計(jì)的自然框架，從而實(shí)現(xiàn)納米光子器件的全局優(yōu)化。

最后，文章將深度學(xué)習(xí)方法與電磁問題的經(jīng)典建模仿真工具進(jìn)行了比較和對(duì)比，探討了未來研究的路徑，并提出了加速該領(lǐng)域進(jìn)展的研究實(shí)踐建議。

對(duì)于這個(gè)領(lǐng)域內(nèi)的研究人員或者想要進(jìn)入這個(gè)領(lǐng)域的初學(xué)者，這篇綜述提供了涵蓋了從微波到光頻率的電磁技術(shù)的基本機(jī)器學(xué)習(xí)概念的教程介紹和當(dāng)前研究發(fā)展的全面指南。