撰稿 | 成駿偉（華中科技大學(xué)）

近年來(lái)，隨著人工智能和第五代通信對(duì)數(shù)據(jù)處理需求的不斷增長(zhǎng)，數(shù)據(jù)計(jì)算容量和計(jì)算功耗快速增加。傳統(tǒng)電子方法的時(shí)鐘頻率一般限于幾個(gè)GHz，已不能滿足超高速、低延遲的海量數(shù)據(jù)處理需求。另一方面，隨著摩爾定律的失效，使得依靠半導(dǎo)體電子技術(shù)來(lái)提高它們的性能和能量效率變得越來(lái)越困難。

由于信息容量的持續(xù)大幅度增加，在可預(yù)見的未來(lái)，一般的電子處理器難以勝任高復(fù)雜度的人工智能以及信號(hào)處理任務(wù)。而矩陣計(jì)算是科學(xué)與工程領(lǐng)域中應(yīng)用最廣泛、必不可少的信息處理工具之一。

大多數(shù)信號(hào)處理，如離散傅里葉變換和卷積運(yùn)算，可以歸因于矩陣計(jì)算。特別以深度學(xué)習(xí)為代表的神經(jīng)網(wǎng)絡(luò)算法，其主要特征就是包含了繁重的矩陣計(jì)算，以卷積神經(jīng)網(wǎng)絡(luò)為例，其矩陣計(jì)算的開銷可以占據(jù)總開銷的80%，甚至90%以上。加速和優(yōu)化矩陣計(jì)算，可以大幅地改善信號(hào)處理和人工智能的計(jì)算效率和功耗。

光子器件具有超大帶寬和超低功耗，光的頻率可達(dá)100 THz，具有多個(gè)自由物理維度，這使得光子計(jì)算成為“后摩爾時(shí)代”中高容量、低延遲矩陣信息處理中最有競(jìng)爭(zhēng)力的候選者之一。最近幾年，光子矩陣乘法得到了迅速的發(fā)展，并被廣泛應(yīng)用于光信號(hào)處理、人工智能和光子神經(jīng)網(wǎng)絡(luò)等光子加速度領(lǐng)域?；诰仃嚦朔ㄓ?jì)算的大量應(yīng)用展示了光子加速器領(lǐng)域巨大的潛能和機(jī)會(huì)。

圖1 矩陣乘法光子加速器概念圖

近期，來(lái)自華中科技大學(xué)的科研團(tuán)隊(duì)，與香港中文大學(xué)、上海理工大學(xué)、浙江大學(xué)以及曦智科技的多位研究學(xué)者合作，以“Photonic matrix multiplication lights up photonic accelerator and beyond”為題，在 Light: Science & Applications 上發(fā)表了矩陣乘法光子加速器主題的綜述文章。

光子矩陣-矢量乘法分類

目前主流的光子矩陣-矢量乘法（MVM）主要包含三類，即基于（單/多）平面光轉(zhuǎn)換（PLC）的矩陣計(jì)算，基于馬赫澤德干涉儀（MZI）網(wǎng)絡(luò)的矩陣計(jì)算，和基于波分復(fù)用（WDM）的矩陣計(jì)算。其中平面轉(zhuǎn)換的矩陣計(jì)算又分為單平面矩陣計(jì)算（SPLC）和多平面矩陣計(jì)算（MPLC），它們都屬于相干計(jì)算，已報(bào)道的輸入向量長(zhǎng)度分別可以達(dá)到357和490000的量級(jí)。MZI和WDM方法的輸出向量長(zhǎng)度一般在100以下，主要用于集成光子矩陣計(jì)算芯片。這些方法主要基于光子的空間維度或者波長(zhǎng)維度進(jìn)行矩陣計(jì)算，還可以結(jié)合光子多個(gè)維度構(gòu)建超高容量的光子張量核心。

圖2 光子矩陣乘法分類

光子矩陣-矢量乘法加速應(yīng)用

光子矩陣乘法網(wǎng)絡(luò)本身可以用作光子信號(hào)處理的通用線性光子回路。近年來(lái)，MVM已成為多種光子信號(hào)處理方法的有力工具。MPLC-MVM得益于其大規(guī)模矩陣計(jì)算的能力，可以管理大量模式，可以用作通用的模式分類器，其操作的模式規(guī)?？梢赃_(dá)到幾百個(gè)，還可以進(jìn)一步擴(kuò)展實(shí)現(xiàn)光子多個(gè)經(jīng)典物理維度的同時(shí)控制，以及用于空間成像加密等應(yīng)用。MZI-MVM易于集成，并且由于移相器工作速度快，可以實(shí)現(xiàn)MZI網(wǎng)格功能的自動(dòng)配置，用作自適應(yīng)的模式處理器件，實(shí)現(xiàn)多個(gè)模式的自由上傳、下載、復(fù)用解復(fù)用以及信道解擾等。WDM-MVM占用空間更小，更容易配置傳輸矩陣，已經(jīng)應(yīng)用于可編程脈沖整形、微環(huán)權(quán)重庫(kù)以及信號(hào)分量分析等。

圖3 光子矩陣乘法應(yīng)用

人工智能技術(shù)已廣泛應(yīng)用于各種電子行業(yè)，如基于深度學(xué)習(xí)的語(yǔ)音識(shí)別和圖像處理。 矩陣計(jì)算作為神經(jīng)網(wǎng)絡(luò)的基本構(gòu)件，占據(jù)了大部分的計(jì)算任務(wù)，例如GoogleNet和OverFeat模型的計(jì)算量超過(guò)80%。提高矩陣的性能是神經(jīng)網(wǎng)絡(luò)加速的最有效手段之一。與電計(jì)算相比，光計(jì)算在數(shù)據(jù)存儲(chǔ)和流量控制方面較差，而光學(xué)非線性的低效率限制了激活函數(shù)等非線性計(jì)算的應(yīng)用。然后，通過(guò)波長(zhǎng)、模式和偏振等復(fù)用技術(shù)，光學(xué)方法在大規(guī)模并行計(jì)算方面具有顯著優(yōu)勢(shì)，同時(shí)具有極高的數(shù)據(jù)調(diào)制速度和低的延時(shí)。因此，光子網(wǎng)絡(luò)非常適合于矩陣計(jì)算。 光計(jì)算和人工智能的結(jié)合有望實(shí)現(xiàn)智能光子處理器和光子加速器。近年來(lái)，人工智能技術(shù)在光學(xué)領(lǐng)域也得到了快速發(fā)展。各種光子矩陣計(jì)算都被驗(yàn)證可用于替代神經(jīng)網(wǎng)絡(luò)算法的線性部分，其單核已經(jīng)驗(yàn)證計(jì)算容量可以超過(guò)11TOPS，光子矩陣計(jì)算的延時(shí)普遍在皮秒量級(jí)，單次乘加操作的能耗在飛焦量級(jí)，信號(hào)調(diào)制速率可以高達(dá)100 GHz。相比電子計(jì)算，其在速率、延時(shí)、功耗等方面具有明顯的優(yōu)勢(shì)。

挑戰(zhàn)與展望

目前，光子矩陣計(jì)算和電子計(jì)算相比，兩者之間仍然存在著巨大的差距，為了解決這個(gè)問(wèn)題,直接而有效的解決方案之一是制造大規(guī)模光子集成回路。與集成電路類似，制造技術(shù)的改進(jìn)為實(shí)現(xiàn)更大規(guī)模和更高集成密度的光子集成回路芯片提供了機(jī)會(huì)。此外，通過(guò)使用光子的多個(gè)自由維度，例如模式、波長(zhǎng)等，光學(xué)器件可以進(jìn)行大量的并行計(jì)算，這些并行操作可以在一個(gè)物理光子計(jì)算核心中執(zhí)行。同時(shí)還可以通過(guò)優(yōu)化光子器件，例如光譜再利用策略、更高調(diào)制速度和更低功耗的調(diào)制器、低損耗波導(dǎo)、混合集成等手段擴(kuò)展網(wǎng)絡(luò)規(guī)模。

矩陣計(jì)算和激活函數(shù)是神經(jīng)網(wǎng)絡(luò)模型的兩個(gè)基本操作元素。光子矩陣計(jì)算在信號(hào)速率、延時(shí)、計(jì)算密度和功耗等方面都比電子方法具有顯著優(yōu)勢(shì)，但光子激活功能仍不成熟，目前主要分為光-電-光轉(zhuǎn)換方法和全光方法，未來(lái)如何實(shí)現(xiàn)低功耗、高響應(yīng)速率的激活函數(shù)仍然是一個(gè)難題。

在全光人工神經(jīng)網(wǎng)絡(luò)成熟之前，特別是在光學(xué)非線性效應(yīng)和全光級(jí)聯(lián)成熟前，光電混合人工智能計(jì)算仍是一種更實(shí)用、更有競(jìng)爭(zhēng)力的深層人工神經(jīng)網(wǎng)絡(luò)的候選架構(gòu)。 因此，開發(fā)高效、專用的光電混合人工智能硬件芯片系統(tǒng)是光子人工智能的核心研究路徑之一。未來(lái)可基于光子矩陣計(jì)算和電子控制實(shí)現(xiàn)加速器底層硬件，并開發(fā)適用于該硬件的各種算法，最后在用戶層可以靈活地調(diào)用這些算法實(shí)現(xiàn)各種加速應(yīng)用，例如信道解擾器、圖像識(shí)別等。

圖4 光電混合AI計(jì)算芯片架構(gòu)

論文信息

Zhou, H., Dong, J., Cheng, J. et al. Photonic matrix multiplication lights up photonic accelerator and beyond. Light Sci Appl 11, 30 (2022).

https://doi.org/10.1038/s41377-022-00717-8

來(lái)自華中科技大學(xué)的董建績(jī)教授為論文的通訊作者，周海龍副教授為論文的第一作者。論文的合作作者還包括香港中文大學(xué)的黃超然博士、曦智科技的沈亦晨博士，上海理工大學(xué)的張啟明教授和顧敏院士，浙江大學(xué)的錢超博士，陳紅勝教授和阮志超教授，以及華中科技大學(xué)的成駿偉博士、董文嬋博士和張新亮教授。

閱讀原文