|
引言
5 S" Z: m' D$ ?7 }% N' t隨著硅晶體管縮放接近極限,研究人員正在探索新技術(shù)以繼續(xù)提高處理器性能和效率。有前途的方向是使用片上光學(xué)網(wǎng)絡(luò)(也稱為光學(xué)片上網(wǎng)絡(luò)或光學(xué)NoC)來替代傳統(tǒng)的電氣互連。與電氣網(wǎng)絡(luò)相比,光學(xué)NoC在帶寬、延遲和功耗方面具有潛在優(yōu)勢。然而,有效管理光學(xué)NoC的功耗帶來了新的挑戰(zhàn)[1]。
- h1 \' R9 j# d: f3 F* L% C. Z, h! |2 i: K& J
本文將探討用于最小化光學(xué)NoC靜態(tài)功耗的激光調(diào)制方案。我們將介紹基于網(wǎng)絡(luò)活動動態(tài)調(diào)制激光功率的關(guān)鍵概念、架構(gòu)和預(yù)測技術(shù)。
# d9 n3 \% ~( R G/ g8 U2 F% }& n. d
; X9 d- H, C8 r" T- |1 d/ e0 y; O$ `3 k& o: O9 y$ ]# M( p* l
背景, Y! W4 L7 [- ?8 q' J) y% g
光學(xué)NoC使用光來傳輸芯片上組件之間的數(shù)據(jù);緲(gòu)建模塊包括:
2 B! J+ u1 _6 |1 D' @3 k c激光器:光源,可以是片外或片上調(diào)制器:將電信號轉(zhuǎn)換為光信號波導(dǎo):在芯片上引導(dǎo)光光電探測器:將光信號轉(zhuǎn)換回電信號! o8 C) j. Z2 r5 z& v% d+ @) u
1 q: { t$ Q2 `$ W% f4 r光傳輸本身非常高效,但產(chǎn)生光的激光器消耗大量功率。一個關(guān)鍵挑戰(zhàn)是光子不能像電荷那樣容易存儲。這意味著激光器通常需要持續(xù)供電,即使不主動傳輸數(shù)據(jù)時也是如此。這種靜態(tài)功耗可能占光學(xué)NoC總功耗的80-90%。
1 A, W- \' p' w: P- K" @6 Y3 k8 R6 ]' ]/ U' Z" x, }
為解決這個問題,研究人員開發(fā)了激光調(diào)制方案,旨在根據(jù)預(yù)測的網(wǎng)絡(luò)活動動態(tài)調(diào)整激光功率。一般方法包括:, r# e7 {! \' W5 h
監(jiān)控網(wǎng)絡(luò)活動指標(biāo)預(yù)測未來活動相應(yīng)調(diào)整激光功率重新配置網(wǎng)絡(luò)
7 H: D2 X# D; |+ W7 V# q( O0 f, v4 K, Q/ S0 Z8 F: C9 k
讓我們看看為不同類型處理器提出的一些具體方案。. v+ Z# l* E( b$ a, t; P
: g- {+ O# P% M* r& y F
多核CPU設(shè)計中的激光調(diào)制方案
+ }+ D: g, R: O% l7 F+ w' @$ b' ?Probe
8 v2 Y% `+ @& W0 B# ~; [! ]最早提出的激光調(diào)制方案之一是Probe。使用64核架構(gòu),核心分組為4x4塊。每個塊都有專用的片外激光器,可以使用單寫多讀(SWMR)總線廣播消息。: k1 d- g5 L. U. q1 o
* e, r N% K8 T# X) N }4 oProbe根據(jù)鏈路利用率和緩沖區(qū)利用率指標(biāo)預(yù)測未來活動。使用兩種類型的預(yù)測器:用于低流量變化:過去和當(dāng)前利用率的加權(quán)平均用于高變化:由利用率水平索引的模式歷史表
2 z# ?0 _9 i. y+ X2 v[/ol]
- U, R! `9 c2 p" O }3 f: j* a錦標(biāo)賽預(yù)測器根據(jù)最近的準(zhǔn)確性在兩者之間選擇。
/ R% A: ?; D5 H+ u( a6 g. _2 H2 Y0 \) F$ ~ [
ColdBus
% C3 c% _. ]6 ~- h# L* kColdBus采用不同的方法,基于L1緩存未命中預(yù)測活動。關(guān)鍵洞察是在共享內(nèi)存系統(tǒng)中,大部分網(wǎng)絡(luò)流量來自L1未命中。( f8 P; t* A" u+ P
. O+ ?$ b+ Z9 @/ W2 @6 O
使用類似于分支預(yù)測器的基于PC的預(yù)測器來識別可能導(dǎo)致未命中的指令。然后,一個時期預(yù)測器估計這些未命中何時發(fā)生。
! i6 u6 j5 q) c
% K9 ?7 h, x& i5 u2 }0 nColdBus還引入了一個"額外波導(dǎo)",為需要的站點提供應(yīng)急功率。! U. K5 Y( D9 W: b6 J$ V
* }2 t4 i, j: y8 l5 D& O- RPShaRe7 m0 Z0 r% I5 Y8 H/ H7 O
PShaRe在之前工作的基礎(chǔ)上有幾個關(guān)鍵創(chuàng)新:一致性和非一致性流量的獨立網(wǎng)絡(luò)基于神經(jīng)網(wǎng)絡(luò)的非線性預(yù)測器站點之間的功率共享重用浪費的光功率進行熱調(diào)諧
+ q/ t ], l( {[/ol]3 x) m7 n9 q' I" v, \
圖1顯示了整體架構(gòu):
: h7 R6 G9 D; g9 }- l$ P j1 i: h2 b$ m1 C3 O
cjhdyiznw5w64024513536.png (157.24 KB, 下載次數(shù): 3)
下載附件
保存到相冊
cjhdyiznw5w64024513536.png
2024-9-20 01:31 上傳
z( O A; E# \1 z \+ l
圖1:PShaRe架構(gòu),顯示連接光學(xué)站點的功率和數(shù)據(jù)波導(dǎo)。
% e! n' ^, l+ Z/ i8 s
* ? n% G1 U1 \神經(jīng)網(wǎng)絡(luò)預(yù)測器使用14個性能計數(shù)器輸入,對每個站點在下一個時期的活動進行二元預(yù)測。
, {& B( o. }. n8 e. q) _: l# Z% |( o
) R) G0 \0 y/ qBigBus P! o% V0 Z) z2 e9 U0 k% F4 k
對于非常大的核心數(shù)(500+),需要像BigBus這樣的設(shè)計。BigBus使用分層架構(gòu),將塊簇組成更大的單元。" T! s0 }: j: V" @
5 Z1 F( ~: t$ l% ]) m1 x7 N圖2說明了BigBus設(shè)計:
% ]$ P& O6 }& L1 ]$ u; m) ?2 g) l, C' B9 U
hck0tgbp1b364024513636.png (216.89 KB, 下載次數(shù): 4)
下載附件
保存到相冊
hck0tgbp1b364024513636.png
2024-9-20 01:31 上傳
& J5 v6 k4 t s Q圖2:BigBus架構(gòu),顯示由蛇形光鏈路連接的核心和緩存庫的分層組織。% `, s1 P: ?" d0 l1 X
2 }; z* J/ [( b: j' z
BigBus使用兩階段預(yù)測過程:每個站點根據(jù)等待時間和待處理事件決定是否增加/減少令牌激光控制器將當(dāng)前預(yù)測與歷史數(shù)據(jù)結(jié)合1 u( P' b5 j' Z& M$ L6 B0 O8 q
[/ol]
/ ^* m k( g- w5 k, D這允許在當(dāng)前條件的響應(yīng)性和穩(wěn)定性之間取得平衡。. ?2 N2 D; J; Z. ~/ V/ m3 u: C
6 g) N' j# Q/ z6 I* S) q- v! f1 T: V! e7 D0 P1 t* N2 S* W
多插槽系統(tǒng)(MULTI-SOCKET SYSTEMS)中的激光調(diào)制方案9 A* W$ N% I( n
對于像服務(wù)器這樣的多芯片系統(tǒng),像Nuplet這樣的設(shè)計將光網(wǎng)絡(luò)擴展到插槽之間。Nuplet同時使用片內(nèi)和片間光網(wǎng)絡(luò)。2 s& N [7 B4 W/ O2 q/ L
* R) j3 l* x5 j/ T片間預(yù)測機制旨在確定要流通的仲裁令牌數(shù)量。它考慮:發(fā)送到片間光學(xué)站(ICOS)的消息ICOS隊列中的待處理事件
# q' c* F- T5 F+ L/ C( S[/ol]
. m6 Q% w. ~* P0 F2 n功率請求表(PRT)存儲歷史令牌計數(shù)。預(yù)測將PRT值與當(dāng)前流量趨勢和隊列狀態(tài)結(jié)合。- E' M4 E0 I' \3 R8 I
* Z+ c- C1 d5 K: A5 Z8 a5 h
GPU設(shè)計中的激光調(diào)制方案
, i A- }8 T. m* U0 h由于GPU側(cè)重于內(nèi)存帶寬而非延遲,因此帶來了獨特的挑戰(zhàn)。GPUOpt設(shè)計將光學(xué)NoC適配于GPU架構(gòu)。% s1 U& f" @: x& F7 u4 ~* b
& p) Y% L% P* v" ]0 U0 ~3 l: |5 M
圖3顯示了GPUOpt的整體架構(gòu):: C" F: u5 R: _% n H
# W( p3 e0 k; }: s
2r1e3lybmxf64024513736.png (198.05 KB, 下載次數(shù): 3)
下載附件
保存到相冊
2r1e3lybmxf64024513736.png
2024-9-20 01:31 上傳
4 H7 g- f1 |2 w# R1 x% C# M圖3:GPU光學(xué)NoC的架構(gòu),顯示由光網(wǎng)絡(luò)連接的SM和LLC集群。2 [* g7 O5 W0 ~$ C) t% F; N: v
. |7 n, l+ \3 s$ f$ X4 {
GPUOpt對流式多處理器(SM)站點和最后級緩存(LLC)站點使用不同的預(yù)測機制:
+ M6 y; ]. _7 p8 ^% E( i1. SM站點使用基于以下因素的受限預(yù)測器(Restr_Pred):- `' p( G( E' [' C& k6 I' N
接收的消息發(fā)送的消息等待時間
; f8 x( Z N$ D* h7 y! w4 j* D/ v) E
2. LLC站點使用考慮以下因素的靈活預(yù)測器(Flex_Pred):8 Q2 ~7 y# ^ D R9 a
接收的消息發(fā)送的消息待處理事件
+ \* e9 P1 G; R. R |3 ]9 B+ t' ^" |0 \
激光控制器將這些預(yù)測結(jié)合起來,確定整體功率需求。( q% O6 V. g5 ~& ~, G8 T5 t4 ?
+ g( G$ Z; z5 ^' e) N6 K
! S* \0 A7 f# U6 P/ B/ i關(guān)鍵概念和趨勢& Y, K' d5 Q0 b
雖然具體方案各不相同,但一些共同主題和最佳實踐浮現(xiàn)出來:8 ?. a9 Z9 g: F; @& w
3 ~" X' s+ p4 ^4 P3 _5 M1.將時間劃分為固定時期進行預(yù)測和重新配置: ^ U6 q" o$ T3 b4 j _. Y! U
2. 使用多個輸入指標(biāo):7 G$ e0 U5 {$ t! | m& h: H: T
網(wǎng)絡(luò)利用率緩沖區(qū)占用率緩存未命中率指令類型待處理事件0 K/ m; |/ v( a0 J: N
3. 將當(dāng)前指標(biāo)與歷史數(shù)據(jù)結(jié)合
9 ]6 z/ B# ?% x- k4. 使用非線性預(yù)測函數(shù)(如神經(jīng)網(wǎng)絡(luò))捕捉復(fù)雜關(guān)系0 a U0 Q: r; s
5. 對不同流量類型進行單獨預(yù)測(如一致性與非一致性)
( j5 i% X, P1 w+ M, B4 v1 y6 X6. 分層設(shè)計以實現(xiàn)可擴展性" T+ e h% q7 h+ f5 Y
7. 盡可能重用未使用的光功率
4 T- i, d/ s* D3 n; U" i: a8. 為特定架構(gòu)經(jīng)驗性地調(diào)整預(yù)測參數(shù)
" f/ K* B7 g u4 p9 Q
& v; u0 X2 Q6 J( Q+ b( ]4 m圖4說明了有效激光調(diào)制可能帶來的功率節(jié)省: _* I. k) L7 t: ?' F% E% E
! z% }/ {2 r+ F4 t
opnnfadxepq64024513836.png (100.12 KB, 下載次數(shù): 3)
下載附件
保存到相冊
opnnfadxepq64024513836.png
2024-9-20 01:31 上傳
* K, X3 o+ v$ K# a
圖4:ideal、Probe和ColdBus方案在各種基準(zhǔn)測試中的相對激光功耗。
% k5 P: Y. H! V8 ]& S. P, E3 R+ Q3 k% f/ L( E
+ ?8 A, M J, A1 O$ ~" K
未來方向9 ?. v. D% @6 k/ k$ v
隨著光學(xué)NoC從研究轉(zhuǎn)向?qū)嶋H實施,可以期待這些技術(shù)的進一步完善。方向包括:
! k" [" N/ P* u/ l l用于更準(zhǔn)確預(yù)測的機器學(xué)習(xí)技術(shù)與應(yīng)用層知識的集成在運行時調(diào)整參數(shù)的自適應(yīng)方案考慮電氣和光網(wǎng)絡(luò)的整體優(yōu)化針對新興工作負(fù)載(如AI加速)的專門化
! H$ V; S: s( ]6 s/ w, @( O
# K$ u- k) B- `7 c* o0 \0 s; }3 u4 G* \: n# o/ @, u
結(jié)論0 g) z+ P, ?/ ~: u
有效的激光調(diào)制對實現(xiàn)光學(xué)片上網(wǎng)絡(luò)的潛在優(yōu)勢非常重要。通過準(zhǔn)確預(yù)測網(wǎng)絡(luò)活動并相應(yīng)調(diào)整激光功率,可以在保持性能的同時最小化靜態(tài)功耗。隨著處理器架構(gòu)繼續(xù)發(fā)展,激光調(diào)制方案需要適應(yīng)新的設(shè)計約束和流量模式。該領(lǐng)域的持續(xù)研究有望為未來計算系統(tǒng)解鎖新的能效水平。8 R3 U3 M$ t T2 t" X
8 [7 v) T' @0 [ \
2 m* {' r, w0 U% k- N7 A1 M
參考文獻, \) c; a8 o7 j0 P3 u: A
[1] M. Nikdast, S. Pasricha, G. Nicolescu, and A. Seyedi, Eds., Silicon Photonics for High-Performance Computing and Beyond, 1st ed. Boca Raton, FL, USA: CRC Press, 2021.; s( n0 L& m: [' ?5 a
- W, {% X% |; F% E
- END -' Q' P* v e+ b A1 a
! N* s& N0 U4 }. k' ~( ^
軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用,PIC Studio都可提升您的工作效能。
/ _: U L& Q/ s; g& P+ q6 o' Q& e點擊左下角"閱讀原文"馬上申請# u; a/ N; o x
1 q7 W m1 L: _ F
歡迎轉(zhuǎn)載$ c/ F( f/ p* e4 Y
9 l7 q, p" g3 A7 Y' W7 [/ D: S轉(zhuǎn)載請注明出處,請勿修改內(nèi)容和刪除作者信息!# r2 O, k9 z7 u! d
$ t: U% l3 ^9 O3 I" K
( l2 q0 ]1 k1 V9 E: z/ |' K q- g$ G' H: x& k
pqequtkewc264024513936.gif (16.04 KB, 下載次數(shù): 2)
下載附件
保存到相冊
pqequtkewc264024513936.gif
2024-9-20 01:31 上傳
- f7 }0 D/ b: J8 P. h
9 q- y7 Z8 r! d _
關(guān)注我們+ A7 i. q' X. g
1 n7 c% y) g! a5 ~$ }
3 L( J, y, D& J, O& v$ @
f04h1q5oxrw64024514036.png (31.33 KB, 下載次數(shù): 3)
下載附件
保存到相冊
f04h1q5oxrw64024514036.png
2024-9-20 01:31 上傳
5 o- ]( w/ ^0 m0 y3 J. e: m* E5 d& V | 6 W7 J# k, V4 a* \- p8 E2 k
ckxurcq3lg364024514137.png (82.79 KB, 下載次數(shù): 3)
下載附件
保存到相冊
ckxurcq3lg364024514137.png
2024-9-20 01:31 上傳
4 p) Q) \0 n% O+ K9 x
| ( N' `, v6 X6 T
rq40zwpyofx64024514237.png (21.52 KB, 下載次數(shù): 3)
下載附件
保存到相冊
rq40zwpyofx64024514237.png
2024-9-20 01:31 上傳
; J5 h* [ U9 g
| : ]* F! e7 b4 x
. ?3 y/ K+ k) ^7 g+ F. {' s. p9 Q& D) m! m" s9 ?
$ f9 E( w! f7 s* A6 c' h* C3 B
關(guān)于我們:2 ^' a, f! i/ A2 C. K- Q! L
深圳逍遙科技有限公司(Latitude Design Automation Inc.)是一家專注于半導(dǎo)體芯片設(shè)計自動化(EDA)的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計和仿真軟件,提供成熟的設(shè)計解決方案如PIC Studio、MEMS Studio和Meta Studio,分別針對光電芯片、微機電系統(tǒng)、超透鏡的設(shè)計與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù),廣泛服務(wù)于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作,推動特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展,致力于為客戶提供前沿技術(shù)與服務(wù)。+ |5 y; S0 r. F' t
4 J; w* V- A% g) ]1 r7 j
http://www.latitudeda.com/
; B/ k& |& O, D(點擊上方名片關(guān)注我們,發(fā)現(xiàn)更多精彩內(nèi)容) |
|