Hot Interconnects 2024 | 人工智能系統(tǒng)互連技術(shù)的未來：挑戰(zhàn)與解決方案

逍遙設(shè)計(jì)自動(dòng)化

引言
隨著AI技術(shù)的持續(xù)進(jìn)步，對(duì)更快、更高效計(jì)算系統(tǒng)的需求呈指數(shù)級(jí)增長�；ミB組件是這些系統(tǒng)的核心，負(fù)責(zé)處理單元之間的數(shù)據(jù)傳輸。然而，隨著AI性能的提升，互連技術(shù)在維持所需帶寬和能效方面面臨著重大挑戰(zhàn)[1]。

: l- h2 z3 y) T& _7 EXPU性能和I/O帶寬的擴(kuò)展
2 i+ |+ R& ~% K) ^0 H8 n- [6 {0 cAI加速器（通常稱為XPU，即擴(kuò)展處理單元）的性能預(yù)計(jì)在未來幾年將顯著提升。這一增長主要由芯片架構(gòu)、工藝技術(shù)和基板技術(shù)的進(jìn)步推動(dòng)。
1 T, ?; L* T9 b8 I2 m
. r3 |3 S& c0 ~- x% }5 ?+ e( p) Z圖1展示了預(yù)期的未來XPU性能，預(yù)計(jì)到2028年將比2022年提高50倍，如果有更好的散熱技術(shù)，可能達(dá)到100倍的提升。

/ v# H2 ?6 \3 a根據(jù)圖表，可以預(yù)期從2022年到2026年，每兩年性能將提高3.3倍，從2026年到2028年將提高5倍。XPU性能的這種指數(shù)級(jí)增長需要相應(yīng)的I/O帶寬增加，以避免數(shù)據(jù)傳輸成為瓶頸。
& f! s8 W9 n1 X
% S: j& N5 U7 O+ g) Z芯片級(jí)高速互連
8 e9 @% O+ r% S) l$ C為滿足不斷增加的帶寬需求，芯片制造商正專注于改進(jìn)片上和片外互連技術(shù)。
1. 片上芯片間接口：
& o6 x/ T$ t9 _3 D* e

當(dāng)前速度：32-64 Gbps NRZ

能效：

前沿密度：5 -> 10 Terabits/mm
$ [8 t. e8 F8 r8 P8 [% \
2. 片外高速SERDES：

當(dāng)前速度：224G-PAM4，正向448G-PAM4發(fā)展

能效：5 -> 4 pJ/Bit

前沿密度：1 -> 2 Terabits/mm

這些芯片級(jí)互連技術(shù)的進(jìn)步對(duì)實(shí)現(xiàn)未來AI系統(tǒng)所需的高帶寬極為重要。
# a. Q. m% n5 j# \6 e" g. t
* }5 W  R( E7 sAI網(wǎng)絡(luò)帶寬和功耗
隨著XPU性能的提升，所需的AI網(wǎng)絡(luò)帶寬也必須相應(yīng)擴(kuò)展。然而，這種擴(kuò)展在功耗方面帶來了挑戰(zhàn)。

* |: ~0 f; L. i# a5 o圖2展示了從2022年到2028年預(yù)期的AI網(wǎng)絡(luò)帶寬增長，顯示了1600G端口的數(shù)量和相關(guān)功耗。

( ^9 C3 j# N- P. r' m( @5 K; }& \圖2的表格顯示，盡管帶寬需求顯著增加（從2022年的3200 Gbps增加到2028年的25600 Gbps），I/O的功耗仍然只占XPU總功耗的一小部分（約2.5%）。這表明SERDES I/O功耗在整體系統(tǒng)功耗中并不是一個(gè)顯著的瓶頸。
) A7 E  J: ^& J' w! M7 L
高速SERDES的優(yōu)勢
高速SERDES（串行器/解串器）技術(shù)仍然是AI系統(tǒng)互連最實(shí)用的解決方案。其優(yōu)勢包括：

通用電氣接口兼容性

支持銅纜、有源光纜（AOC）和各種類型的光學(xué)器件

從112G到224G再到448G的明確發(fā)展路線圖

改善系統(tǒng)級(jí)密度

與光學(xué)模塊路線圖一致（8通道光學(xué)從800G到1600G再到3200G）

機(jī)箱和機(jī)架級(jí)I/O擴(kuò)展
6 H8 D2 K% a5 g在機(jī)箱或機(jī)架內(nèi)，無源銅互連仍然是最具成本效益和能效的解決方案。液冷機(jī)架中XPU密度的增加（從64到128再到256個(gè)XPU）解決了大部分規(guī)模擴(kuò)展需求，可能占市場需求的50%或更多。

9 B( Q8 N) ?4 a; \4 Y機(jī)架之外：光互連技術(shù)和功耗挑戰(zhàn)
, \* |1 o% s( _& _對(duì)于機(jī)架之外的連接，光互連成為必要。然而，與銅互連相比，光互連技術(shù)帶來了更高的成本和功耗。關(guān)鍵挑戰(zhàn)是如何最小化這種損失，特別是對(duì)于AI集群擴(kuò)展中常見的短距離鏈路（10到15米）。
% Z9 U* s2 y2 M9 n
圖3比較了102.4T交換機(jī)中不同光互連技術(shù)的功耗：線性可插拔光學(xué)（LPO）、線性僅接收光學(xué)（LRO）和基于DSP的光學(xué)技術(shù)。

圖表清楚地顯示，與基于DSP的光學(xué)技術(shù)相比，LPO提供了顯著的功耗節(jié)省，差異高達(dá)1600W或總功耗的50%。這凸顯了為大規(guī)模AI系統(tǒng)開發(fā)更高效光學(xué)互連技術(shù)的重要性。
( J5 ~4 O. j1 Z% k2 K
線性可插拔光學(xué)（LPO）
線性可插拔光學(xué)（LPO）成為解決AI系統(tǒng)中光學(xué)互連功耗挑戰(zhàn)的有前景解決方案。LPO提供了幾個(gè)優(yōu)勢：

與基于DSP的光學(xué)技術(shù)相比，顯著節(jié)省功耗

保持可插拔模塊的可維護(hù)性和易用性

避免了與光電共封裝（CPO）相關(guān)的制造和可靠性挑戰(zhàn)


7 Q0 K/ S& p' A
圖4展示了線性可插拔光學(xué)（LPO）的概念，展示了其在不影響可維護(hù)性的情況下提供功耗優(yōu)勢的潛力。

* o3 z! E+ Q% d3 Z( [LPO多源協(xié)議（MSA）匯集了12個(gè)行業(yè)領(lǐng)導(dǎo)者，旨在為線性可插拔光學(xué)定義規(guī)范，目標(biāo)是使這項(xiàng)技術(shù)標(biāo)準(zhǔn)化以便廣泛采用。

$ ~6 |, E  w/ y1 w" j% ~/ V未來發(fā)展：224G和448G
隨著行業(yè)向更高數(shù)據(jù)速率發(fā)展，224G-PAM4和448G-PAM4技術(shù)正在到來。這些進(jìn)步帶來了新的挑戰(zhàn)和機(jī)遇：
8 I. _7 c9 C. s8 B1 v% b) }" m
a. 224G-PAM4：
- W( g, d2 T+ g% E3 P4 |- y, u

需要干凈、低損耗的電氣通道（理想情況下，芯片到模塊的損耗

可能需要飛躍電纜以減少通道損耗和干擾

更高性能的TIA和線性驅(qū)動(dòng)器正在開發(fā)中

9 w7 B1 _7 I2 Gb. 448G-PAM4：

對(duì)電氣通道提出了重大挑戰(zhàn)

可能需要新的可插拔模塊連接器

100+ GHz的光學(xué)帶寬具有挑戰(zhàn)性，薄膜鋰鈮酸鹽（TFLN）是一個(gè)有前景的解決方案

先有雞還是先有蛋的問題
在AI生態(tài)系統(tǒng)中引入新的I/O技術(shù)面臨著先有雞還是先有蛋的問題。雖然像較慢和更寬的光學(xué)技術(shù)（例如4G微型LED或32G-NRZ微環(huán)）提供了潛在的優(yōu)勢，但其采用面臨幾個(gè)障礙：

開發(fā)和提升新光學(xué)技術(shù)產(chǎn)量的長周期

高產(chǎn)量制造需要大量投資

沒有重大設(shè)計(jì)贏得的情況下，不愿意承諾使用未經(jīng)驗(yàn)證的技術(shù)


* N# |- N+ ?' c& T, w
# L, E8 r) M( Q( c圖5展示了使用4G微型LED的1600G-OSFP模塊的概念設(shè)計(jì)，說明了未來光學(xué)互連可能實(shí)現(xiàn)的低功耗。

為解決這些挑戰(zhàn)，行業(yè)必須專注于分散風(fēng)險(xiǎn)并保持采用新技術(shù)的靈活性。
1 f- t: ~+ v& [" \  C. J+ J* [: p+ y
結(jié)論
$ D) C( L/ b$ y  P# H8 t" H隨著AI系統(tǒng)不斷發(fā)展并要求更高的性能，互連技術(shù)的作用變得越來越關(guān)鍵。雖然高速SERDES技術(shù)在可預(yù)見的將來仍然是最實(shí)用的解決方案，但像線性可插拔光學(xué)這樣的新興技術(shù)為解決功耗挑戰(zhàn)提供了有前景的途徑。
5 U8 Z5 ^3 e$ V9 @
在這個(gè)快速發(fā)展的領(lǐng)域中，成功的關(guān)鍵在于平衡創(chuàng)新和實(shí)用性。通過專注于上市時(shí)間、分散風(fēng)險(xiǎn)和保持采用新技術(shù)的靈活性，行業(yè)可以確保互連技術(shù)跟上AI系統(tǒng)的快速進(jìn)步。
, o/ X% J! C: j% C
4 q2 h% j& H) F6 J參考文獻(xiàn)
  u. Z- b" C$ ^- @. o[1] Bechtolsheim, "Can Interconnects Keep up with AI? A System-Level Perspective," presented at Hot Interconnects 2024.
- \% F/ x$ I! n$ {- ?; A, c' C
: @! q8 a4 z% r& F+ NEND
9 |& l' z3 e2 X  [# U

軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
6 k: _" G9 W  x' @3 w/ }點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)

9 z' C8 E4 n5 u. O. ]& X歡迎轉(zhuǎn)載

轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！
5 t$ B2 x8 s2 g- x8 C
8 |6 y1 a! o( p! D# m3 @


9 `5 T8 I; h' O8 g: C
關(guān)注我們
0 x# [0 v6 G- r- V

5 X8 Y# `; ~9 a7 d$ }- w0 t+ s 3 _7 [  [& I3 I, X

( L3 z, e$ c4 C0 b+ B 7 Y9 v, x# ^9 H; q  V# Q8 V3 h

. T7 C7 F) z1 I* G( t/ f% a

                     

. p* |7 b$ Q! `2 w+ b

關(guān)于我們：
' |: n, Q( q5 t- c" U深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
: |  n1 a* l8 E- Z5 G# _
) s  G' w5 ^. a$ e5 Uhttp://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）