經(jīng)濟(jì)可持續(xù)的AI擴(kuò)展：硬件挑戰(zhàn)和光學(xué)解決方案分析

逍遙設(shè)計(jì)自動(dòng)化

引言
+ `5 g: F) ?2 T+ B. l大型語言模型（LLM）的出現(xiàn)推動(dòng)了AI能力的快速發(fā)展。然而，這些進(jìn)步的經(jīng)濟(jì)可持續(xù)性取決于解決關(guān)鍵的硬件限制。本文基于 Ayar Labs CEO在"The Economics of AI are Failing, But We Can Fix It (With Lasers)"的見解，探討了AI擴(kuò)展面臨的經(jīng)濟(jì)障礙，特別是從以用戶為中心向基于代理的工作流轉(zhuǎn)變，以及光學(xué)互連在塑造可行未來中的作用[1]。
. C# F, k- c  H5 [8 d- K, T4 n7 q
當(dāng)前AI經(jīng)濟(jì)：盈利困境
盡管AI生態(tài)系統(tǒng)從芯片制造到軟件開發(fā)都有大量投資，但許多參與者仍難以實(shí)現(xiàn)盈利。這一困境源于當(dāng)前以計(jì)算為中心的硬件設(shè)計(jì)，難以滿足LLM不斷增長(zhǎng)的需求。這些模型需要龐大的內(nèi)存容量、強(qiáng)大的計(jì)算能力和高內(nèi)存帶寬。結(jié)果，公司不得不購買更多硬件，主要是內(nèi)存控制器，僅僅為了容納不斷擴(kuò)大的模型規(guī)模，從而增加了成本。

) F; d; d+ `  }- ?. A更復(fù)雜的是現(xiàn)有互連技術(shù)如以太網(wǎng)和專用Fabric技術(shù)（如Infinity Fabric和NVLink）的限制。這些技術(shù)雖然提供高帶寬，但在距離和可擴(kuò)展性方面受到限制。這使得高效連接大量芯片變得困難，阻礙了更強(qiáng)大、更高效AI系統(tǒng)的發(fā)展。
0 r! i( E: X! W5 [0 p. ~
  y- k' d0 a# t3 J; x
# i) P: Y+ u! o6 M0 Z從以用戶為中心到基于代理的AI：范式轉(zhuǎn)變
AI工作負(fù)載從用戶-模型交互向代理-代理交互的演變對(duì)現(xiàn)有硬件基礎(chǔ)設(shè)施提出了重大挑戰(zhàn)。在用戶-模型工作流中，用戶與單一模型交互。這種工作流在硬件資源分配方面相對(duì)簡(jiǎn)單。然而，代理-代理交互（多個(gè)模型相互通信以滿足用戶請(qǐng)求）引入了新的復(fù)雜性。這種基于代理的方法雖然提供了更大的靈活性和潛在的更好結(jié)果，但大大增加了對(duì)內(nèi)存、計(jì)算資源和互連帶寬的需求。

' p/ z7 y% z  K. [' A' v隨著代理鏈中模型數(shù)量的增加，處理所需的token總數(shù)成倍增長(zhǎng)，直接影響成本和延遲。此外，鏈的整體延遲必須保持在用戶可接受的限度內(nèi)，這進(jìn)一步給系統(tǒng)帶來壓力。
7 D0 b& q9 A; [/ v2 T5 Q( p
例如，三個(gè)模型的菊花鏈?zhǔn)顾�需的token總數(shù)增加三倍，導(dǎo)致成本和延遲增加三倍。這凸顯了迫切需要能夠高效處理日益復(fù)雜的基于代理工作流需求的硬件解決方案。

/ Z8 `1 |7 a! u3 V$ Y
光IO：可擴(kuò)展性和效率的途徑
$ m! v; [* e8 r* [  T% R) j' {目前基于銅的互連的局限性突顯了更可擴(kuò)展、更高效解決方案的需求。光學(xué)IO作為一種有希望的替代方案出現(xiàn)，利用光速進(jìn)行數(shù)據(jù)傳輸。這種技術(shù)提供了顯著優(yōu)勢(shì)：

更高帶寬：光IO超越了當(dāng)前以太網(wǎng)和Fabric技術(shù)的能力。

更高密度：這種技術(shù)能在給定空間內(nèi)實(shí)現(xiàn)更高的帶寬集中度。

更低延遲：光IO減少了數(shù)據(jù)傳輸相關(guān)的時(shí)間延遲。
0 L$ m( R6 X. c* L% B0 E  }[/ol]
4 M% T7 ?2 L# I. }' @通過用光互連替代銅鏈路，可以將AI系統(tǒng)擴(kuò)展到單個(gè)機(jī)架之外，以全連接配置連接數(shù)百甚至數(shù)千個(gè)芯片。這實(shí)現(xiàn)了更高效的資源利用，促進(jìn)了更大、更復(fù)雜的基于代理AI系統(tǒng)的發(fā)展。
( k) S0 m- O$ Q3 A0 E, l
1 y0 ~, {6 J) Z6 V
8 \. k, t7 b; x1 N- ~5 `+ Z# k超越計(jì)算：平衡硬件設(shè)計(jì)方法
  s4 L- U7 ^# a: e5 V, LAI硬件設(shè)計(jì)中對(duì)計(jì)算能力的主要關(guān)注需要與更多關(guān)注內(nèi)存帶寬和連接性取得平衡。這種觀點(diǎn)的轉(zhuǎn)變需要從簡(jiǎn)單增加內(nèi)存轉(zhuǎn)向開發(fā)優(yōu)化計(jì)算、內(nèi)存和互連相互作用的架構(gòu)。

# D5 ?" K$ H; \: N一種有希望的方法涉及將光IO直接集成到芯片設(shè)計(jì)中，創(chuàng)建更緊密耦合和高效的系統(tǒng)。這可以通過光電共封裝和硅基光電子等技術(shù)實(shí)現(xiàn)，允許芯片和內(nèi)存模塊之間進(jìn)行高帶寬通信。
( Y/ _" D7 ^4 r( z5 R5 Y) R* d
" o3 p1 L  T* n0 v. M1 j- s0 M示例說明
Ayar Labs示例，其中標(biāo)準(zhǔn)ASIC配備8個(gè)HBM模塊，并增加了10個(gè)光IO chiplet。這些chiplet可以連接到1TB內(nèi)存庫，有效擴(kuò)展了ASIC的內(nèi)存容量。這種方法為ASIC提供了快速HBM和高帶寬光學(xué)連接到大量外部?jī)?nèi)存的訪問。


這種方法解決了目前阻礙AI系統(tǒng)擴(kuò)展的內(nèi)存瓶頸，使其能夠處理復(fù)雜AI工作負(fù)載不斷增長(zhǎng)的需求。

上圖展示了傳統(tǒng)互連和光學(xué)IO在關(guān)鍵性能指標(biāo)上的比較，光IO在帶寬、延遲、密度和可擴(kuò)展性方面都具有顯著優(yōu)勢(shì)。

塑造可持續(xù)AI未來：整體視角
0 l; Q1 S: X* b* K! h) p實(shí)現(xiàn)AI的變革潛力并確保其經(jīng)濟(jì)可行性需要一種涵蓋整個(gè)AI生態(tài)系統(tǒng)的整體方法。這包括硬件設(shè)計(jì)、軟件開發(fā)和服務(wù)交付。
9 i  ?0 h7 F, X* y+ m
! I7 [; c8 l/ o關(guān)注的主要領(lǐng)域：

高效和可擴(kuò)展的硬件架構(gòu)：從以計(jì)算為中心的方法轉(zhuǎn)向平衡設(shè)計(jì)，集成高帶寬連接和充足的內(nèi)存容量。

優(yōu)化的軟件框架：開發(fā)能夠高效管理多個(gè)模型之間通信和數(shù)據(jù)流的框架，最小化基于代理工作負(fù)載中的延遲并最大化吞吐量。

靈活和可擴(kuò)展的云基礎(chǔ)設(shè)施：實(shí)現(xiàn)動(dòng)態(tài)資源分配和重新配置，以適應(yīng)推理工作負(fù)載的波動(dòng)需求。
[/ol]
, q  ~5 a. Z" k6 }8 M/ S& h: d當(dāng)前AI經(jīng)濟(jì)狀況既帶來挑戰(zhàn)也提供機(jī)遇�，F(xiàn)有硬件基礎(chǔ)設(shè)施的限制突顯了創(chuàng)新和架構(gòu)范式根本轉(zhuǎn)變的迫切需求。采用光IO等技術(shù)并采取更平衡的硬件設(shè)計(jì)方法可以克服當(dāng)前阻礙先進(jìn)AI系統(tǒng)發(fā)展的可擴(kuò)展性和效率障礙。

: h1 H4 E3 w, y, P6 ~) p* _8 x+ C從用戶-模型到代理-代理交互的轉(zhuǎn)變雖然要求很高，但展示了AI的未來。復(fù)雜和互連系統(tǒng)將為廣泛應(yīng)用提供動(dòng)力。解決與這一轉(zhuǎn)變相關(guān)的經(jīng)濟(jì)挑戰(zhàn)對(duì)于釋放AI的全部潛力并培育更可持續(xù)和有益的技術(shù)環(huán)境至為重要。
2 z# B+ E9 A' ~
* F; [; k% T) I+ t& h# M參考文獻(xiàn)
[1] TechTechPotato, "The Economics of AI are Failing, But We Can Fix It (With Lasers)," YouTube, Sep. 25, 2024. [Online]. Available: https://www.youtube.com/watch?v=gsW4dLYb55c.
END
/ t- P* T# U: V- L; U

軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)

. s0 f9 K% m4 ~, A5 g/ c歡迎轉(zhuǎn)載
7 }$ y* D5 x7 [$ A2 s3 @
+ x+ Y0 b# E8 h+ E: K轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！

2 w6 u. X, O* x. `: D  g


! Z9 v. J6 y9 N" L
) k+ n; f4 d* O# N5 S3 c) J關(guān)注我們

4 X/ i+ g$ h9 g  _( `

$ w. l' n' G% `8 s

! i1 b+ _& r  i, z

4 L7 z+ K) Q: X! p

                     
: S4 b7 h# S( Q" S
& o: e3 H! I8 N

關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
- G4 M& b) `0 L! s1 _* O4 I
http://www.latitudeda.com/
, |, c- h+ ~* Z' ]. o) v8 F（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）