IEEE J. Quantum Electron更新 | 基于相位到振幅轉(zhuǎn)換的全光學(xué)神經(jīng)激活函數(shù)

逍遙設(shè)計(jì)自動(dòng)化

引言
' n- p6 D- i% W3 d1 e! u人工神經(jīng)網(wǎng)絡(luò)（ANNs）在人工智能領(lǐng)域引發(fā)了革命，在圖像識(shí)別、音頻處理和自然語(yǔ)言處理等多種任務(wù)中展現(xiàn)出卓越的性能。然而，現(xiàn)代ANNs日益增長(zhǎng)的計(jì)算需求促使研究人員探索受人腦啟發(fā)的非常規(guī)硬件平臺(tái)。硅基光電子技術(shù)作為神經(jīng)形態(tài)計(jì)算的有前途的候選者脫穎而出，具有波長(zhǎng)輔助并行性、固有線(xiàn)性處理能力和低功耗等優(yōu)勢(shì)。
* t! P, \& p+ {8 U
ANNs的關(guān)鍵方面是激活函數(shù)，為網(wǎng)絡(luò)引入非線(xiàn)性，使復(fù)雜的模式識(shí)別成為可能。在本文中探討創(chuàng)新方法，利用無(wú)源光學(xué)諧振器中的相位到振幅（PTA）轉(zhuǎn)換來(lái)實(shí)現(xiàn)全光學(xué)、可重構(gòu)和功率無(wú)關(guān)的神經(jīng)激活函數(shù)。

+ ?5 `( v3 ^' P+ [0 k, d

相位到振幅轉(zhuǎn)換
% I2 w. m1 u- w+ _8 V- }4 V1 M這種方法的核心概念是在無(wú)源光學(xué)濾波器（如微環(huán)諧振器，MRRs）中發(fā)生的非線(xiàn)性相位到振幅轉(zhuǎn)換。在這種方案中，信息被編碼在光載波包絡(luò)的相位中：


( A  j) `# J9 ?/ F其中P是輸入功率，m是調(diào)制指數(shù)，n(t)是范圍從-1到1的歸一化信號(hào)。
3 |# d; @1 z& F7 L/ v

圖1展示了相位梯度對(duì)基于微環(huán)諧振器漏端口的IIR光學(xué)濾波器透射率的影響。

光信號(hào)的頻率由相位編碼信息調(diào)制：

- g8 w  s9 X* {# _- |隨著光信號(hào)頻率因相位調(diào)制而變化，光學(xué)濾波器的透射率也隨之改變。這個(gè)過(guò)程產(chǎn)生了非線(xiàn)性PTA響應(yīng)，該響應(yīng)與輸入功率無(wú)關(guān)，使其非常適合低功耗應(yīng)用。

作為可重構(gòu)光子神經(jīng)元的微環(huán)諧振器
為了演示PTA轉(zhuǎn)換機(jī)制，我們將使用微環(huán)諧振器（MRR）作為光學(xué)濾波器。MRR漏端口的傳遞函數(shù)為：
( Y( V2 R, x. L/ K% h$ c
- `- O0 W: E2 Z9 t

2 v' m3 l/ t2 J+ i/ m! b( O( s其中s = √k，c = √(1-k)，k是耦合系數(shù)，ζ = γ exp(-j(2π(f + df)Tring))。
- M6 w$ K+ R  w. r  J4 k" b
# j4 Z$ J- K3 S9 U9 r$ x
圖2

$ S3 C) p% c- E) R# d; F; h3 `圖2顯示了通過(guò)PTA轉(zhuǎn)換從單個(gè)MRR節(jié)點(diǎn)的漏端口獲得的不同激活函數(shù)：
(a) Soft-plus函數(shù)
(b) Sigmoid函數(shù)
(c) 高斯函數(shù)

. p( n" j8 i4 J- ?$ U/ ?  @$ A通過(guò)調(diào)整兩個(gè)關(guān)鍵超參數(shù) - 調(diào)制指數(shù)m和頻率失諧df - 可以控制激活函數(shù)的形狀。這使我們能夠重現(xiàn)多種獨(dú)立于輸入功率且對(duì)相位不確定性具有容忍度的激活函數(shù)。
$ N5 j8 ^3 u. @) ~6 G1 D
時(shí)延儲(chǔ)備計(jì)算
為了展示PTA轉(zhuǎn)換機(jī)制的實(shí)際應(yīng)用，將實(shí)現(xiàn)一個(gè)時(shí)延儲(chǔ)備計(jì)算（TDRC）方案，用于Santa Fe混沌時(shí)間序列的一步預(yù)測(cè)。

4 k1 k* t; x, X1 c2 I* d8 t2 l1 x9 F
圖3展示了用于Santa Fe混沌序列一步預(yù)測(cè)的TDRC設(shè)置。

TDRC設(shè)置包括以下組件：
  n4 D3 w. z- C1 L8 |) A1.輸入處理：時(shí)間序列被歸一化并與掩碼矩陣相乘以進(jìn)行維度擴(kuò)展。
( v( f8 Q2 t' q  Z$ L2.數(shù)模轉(zhuǎn)換：處理后的輸入轉(zhuǎn)換為模擬信號(hào)用于光學(xué)調(diào)制。
' R2 N  G  \4 o7 [5 p+ n3 K5 c3.光學(xué)調(diào)制：信號(hào)使用幅度調(diào)制（AM）或相位調(diào)制（PM）調(diào)制光載波。
5 s$ o$ ]* h1 k. r4.光子儲(chǔ)備：帶有外部反饋環(huán)的MRR為儲(chǔ)備提供物理存儲(chǔ)。
% h3 F6 P. r. K) P9 F. s5.光電檢測(cè)和模數(shù)轉(zhuǎn)換：光子儲(chǔ)備的輸出被檢測(cè)并數(shù)字化。
. B8 S3 O2 k8 K6 m- _, c$ Y& A6.線(xiàn)性回歸：處理后的數(shù)據(jù)用于進(jìn)行一步預(yù)測(cè)。
% k5 P$ B7 X2 a3 i9 v# m( a
) n9 ^" K* G* D+ e0 Y性能評(píng)估
" w" x5 I' v" r3 g% R- s# W5 U使用幅度調(diào)制（AM）和相位調(diào)制（PM）方案評(píng)估TDRC系統(tǒng)的性能。使用的性能指標(biāo)是歸一化均方誤差（NMSE）。
/ I" }% N0 ]7 G9 ^6 W
& J. {* g0 H" g0 ?' E' F圖4顯示了(a) AM的反饋強(qiáng)度和頻率失諧，以及(b) PM的調(diào)制指數(shù)和頻率失諧的NMSE函數(shù)。
8 d3 O, P9 W  V: v
# \9 A7 y/ H6 F& O8 {  N對(duì)于A(yíng)M方案，在-4 GHz的負(fù)失諧和反饋強(qiáng)度η = 1時(shí)觀(guān)察到最佳性能，NMSE為0.12 ± 0.019。

利用PTA轉(zhuǎn)換的PM方案展現(xiàn)出更優(yōu)越的性能。在4 GHz的失諧和1.1的調(diào)制指數(shù)下，達(dá)到了0.024 ± 0.004的最佳NMSE。
# N* f; }7 L! L: J4 s7 N! m
  Z1 P; k/ C  r' p) Y
4 C! C$ O, _* w3 Z- h圖5顯示了AM（SR = 10 Gsa/s）和PM（SR = 10, 100 Gsa/s）的NMSE作為輸入功率的函數(shù)。

! J$ H3 B# K7 b$ I- l1 H/ d  J0 cPM方案在廣泛的輸入功率范圍內(nèi)優(yōu)于A(yíng)M方案，展現(xiàn)出更高的性能和更好的功率效率。即使在低輸入功率（-10 dBm）下，PM方案也達(dá)到了0.041的NMSE，展示了PTA機(jī)制的功率獨(dú)立性。

優(yōu)勢(shì)和應(yīng)用
提出的基于PTA的激活函數(shù)具有幾個(gè)優(yōu)勢(shì)：
1.功率獨(dú)立性：即使在低輸入功率下也能保持非線(xiàn)性效應(yīng)，適合低功率應(yīng)用。
2.可重構(gòu)性：通過(guò)調(diào)整調(diào)制指數(shù)和頻率失諧，可以使用單個(gè)MRR實(shí)現(xiàn)各種激活函數(shù)。
3.高速操作：系統(tǒng)可以以高達(dá)2 Gsa/s的速率進(jìn)行處理（對(duì)于100 Gsa/s的采樣率），適合高速應(yīng)用。
; Q( V& E. y, a+ ?& F) e6 B! S4 k4.集成：MRR的無(wú)源性質(zhì)使其與硅基光電子集成兼容，這對(duì)大規(guī)模神經(jīng)形態(tài)系統(tǒng)至為重要。
* Q* J9 R1 |$ J; F6 L8 H' S
這項(xiàng)技術(shù)的潛在應(yīng)用包括：
1.光學(xué)神經(jīng)網(wǎng)絡(luò)：基于PTA的激活函數(shù)可用于卷積神經(jīng)網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)，提供額外的可訓(xùn)練元素。
2.復(fù)值神經(jīng)網(wǎng)絡(luò)：PTA機(jī)制可用于實(shí)現(xiàn)復(fù)值A(chǔ)NNs的復(fù)雜激活函數(shù)。
. u9 p4 R0 O1 t9 h# n3.全光信號(hào)處理：PTA非線(xiàn)性可用于諸如全光ASK到PSK轉(zhuǎn)換等任務(wù)。
4.穩(wěn)健光子結(jié)構(gòu)：基于PTA的激活函數(shù)的功率獨(dú)立性可以為硅基光電子結(jié)構(gòu)中的高光學(xué)損耗提供穩(wěn)健性。

結(jié)論
  b' d7 b& d! @本文介紹了創(chuàng)新方法，利用無(wú)源光學(xué)諧振器中的相位到振幅轉(zhuǎn)換來(lái)實(shí)現(xiàn)全光學(xué)、可重構(gòu)和功率無(wú)關(guān)的神經(jīng)激活函數(shù)。通過(guò)利用微環(huán)諧振器的非線(xiàn)性響應(yīng)，我們可以創(chuàng)建對(duì)人工神經(jīng)網(wǎng)絡(luò)非常重要的各種激活函數(shù)。

% A5 k& I( B( t9 {- c: h/ T5 ?, T與傳統(tǒng)的幅度調(diào)制方案相比，該系統(tǒng)在時(shí)延儲(chǔ)備計(jì)算方面表現(xiàn)出更優(yōu)越的性能。其功率獨(dú)立性、可重構(gòu)性和與硅基光電子技術(shù)的兼容性使其成為未來(lái)神經(jīng)形態(tài)計(jì)算系統(tǒng)的有力候選者。
, P+ D) j0 A5 H& B# T; `* u
隨著該領(lǐng)域研究的進(jìn)展，有望看到全光學(xué)神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展，可能會(huì)產(chǎn)生更高效、更強(qiáng)大的人工智能系統(tǒng)，克服傳統(tǒng)電子實(shí)現(xiàn)的局限性。
- v( K4 e" Q, K. j- K% u0 z6 @
參考文獻(xiàn)
[1] G. Sarantoglou, A. Bogris and C. Mesaritakis, "All-Optical, Reconfigurable, and Power Independent Neural Activation Function by Means of Phase Modulation," IEEE Journal of Quantum Electronics, vol. 60, no. 5, pp. 1-10, Oct. 2024, Art no. 8700206, doi: 10.1109/JQE.2024.3437353.

' U7 d; ?' Z! I) z/ m' R

- END -
( K1 k" N/ K  K& ], P1 B; A
4 l( [; r  b3 f" w$ d軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無(wú)論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
* b: d; x+ R9 s1 {點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)
  d6 f" Q: a5 [  y# x3 N6 j2 Q0 _
歡迎轉(zhuǎn)載

, q. g* d) X0 z7 Y! k轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！
若需原文鏈接，可留言或私信溝通~

% M, {; A: o) ]9 T3 _



$ g9 g$ [' k0 v* D
% y8 B" ]2 b; j. c9 ]. ]關(guān)注我們

% x+ C5 _( w" Q/ k

' Q6 M2 O" h2 t ; Y9 w2 G2 Y7 Q/ A$ A; C

) m# @2 m& f* t

& [0 r% X( |9 ^+ Z- @

                     
+ H  ?: ^. |! g4 U+ L2 @( t/ _: d





1 ]2 i' b( Y# n% q5 C4 \% O關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專(zhuān)注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開(kāi)發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶(hù)。逍遙科技與國(guó)內(nèi)外晶圓代工廠(chǎng)及硅光/MEMS中試線(xiàn)合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶(hù)提供前沿技術(shù)與服務(wù)。

http://www.latitudeda.com/
' D  ?+ b9 T  \1 a: E（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）