經(jīng)濟(jì)可持續(xù)的AI擴(kuò)展：硬件挑戰(zhàn)和光學(xué)解決方案分析

逍遙設(shè)計(jì)自動(dòng)化

引言
/ d7 E8 f7 q. {+ J大型語言模型（LLM）的出現(xiàn)推動(dòng)了AI能力的快速發(fā)展。然而，這些進(jìn)步的經(jīng)濟(jì)可持續(xù)性取決于解決關(guān)鍵的硬件限制。本文基于 Ayar Labs CEO在"The Economics of AI are Failing, But We Can Fix It (With Lasers)"的見解，探討了AI擴(kuò)展面臨的經(jīng)濟(jì)障礙，特別是從以用戶為中心向基于代理的工作流轉(zhuǎn)變，以及光學(xué)互連在塑造可行未來中的作用[1]。

當(dāng)前AI經(jīng)濟(jì)：盈利困境
1 K5 A* t7 t( k! e( |- z盡管AI生態(tài)系統(tǒng)從芯片制造到軟件開發(fā)都有大量投資，但許多參與者仍難以實(shí)現(xiàn)盈利。這一困境源于當(dāng)前以計(jì)算為中心的硬件設(shè)計(jì)，難以滿足LLM不斷增長(zhǎng)的需求。這些模型需要龐大的內(nèi)存容量、強(qiáng)大的計(jì)算能力和高內(nèi)存帶寬。結(jié)果，公司不得不購買更多硬件，主要是內(nèi)存控制器，僅僅為了容納不斷擴(kuò)大的模型規(guī)模，從而增加了成本。

1 Y9 G9 N& o9 R4 e2 p更復(fù)雜的是現(xiàn)有互連技術(shù)如以太網(wǎng)和專用Fabric技術(shù)（如Infinity Fabric和NVLink）的限制。這些技術(shù)雖然提供高帶寬，但在距離和可擴(kuò)展性方面受到限制。這使得高效連接大量芯片變得困難，阻礙了更強(qiáng)大、更高效AI系統(tǒng)的發(fā)展。

* a  i& E3 G1 @5 ]( u
: M. A! b' n  J從以用戶為中心到基于代理的AI：范式轉(zhuǎn)變
7 U$ m4 l4 n) S) _9 p% gAI工作負(fù)載從用戶-模型交互向代理-代理交互的演變對(duì)現(xiàn)有硬件基礎(chǔ)設(shè)施提出了重大挑戰(zhàn)。在用戶-模型工作流中，用戶與單一模型交互。這種工作流在硬件資源分配方面相對(duì)簡(jiǎn)單。然而，代理-代理交互（多個(gè)模型相互通信以滿足用戶請(qǐng)求）引入了新的復(fù)雜性。這種基于代理的方法雖然提供了更大的靈活性和潛在的更好結(jié)果，但大大增加了對(duì)內(nèi)存、計(jì)算資源和互連帶寬的需求。
0 U% h, D# p: B+ x
- J: T" d: d9 V9 O: q: }  n隨著代理鏈中模型數(shù)量的增加，處理所需的token總數(shù)成倍增長(zhǎng)，直接影響成本和延遲。此外，鏈的整體延遲必須保持在用戶可接受的限度內(nèi)，這進(jìn)一步給系統(tǒng)帶來壓力。
$ k2 N5 Z" n, Y9 f1 _* N
) r" l5 P8 {' I8 }例如，三個(gè)模型的菊花鏈?zhǔn)顾�需的token總數(shù)增加三倍，導(dǎo)致成本和延遲增加三倍。這凸顯了迫切需要能夠高效處理日益復(fù)雜的基于代理工作流需求的硬件解決方案。

7 e8 ^+ ?$ U+ F
( z0 w% `+ ?. i- w光IO：可擴(kuò)展性和效率的途徑
目前基于銅的互連的局限性突顯了更可擴(kuò)展、更高效解決方案的需求。光學(xué)IO作為一種有希望的替代方案出現(xiàn)，利用光速進(jìn)行數(shù)據(jù)傳輸。這種技術(shù)提供了顯著優(yōu)勢(shì)：

更高帶寬：光IO超越了當(dāng)前以太網(wǎng)和Fabric技術(shù)的能力。

更高密度：這種技術(shù)能在給定空間內(nèi)實(shí)現(xiàn)更高的帶寬集中度。

更低延遲：光IO減少了數(shù)據(jù)傳輸相關(guān)的時(shí)間延遲。
[/ol]
5 [% F! V; {! E. X  W通過用光互連替代銅鏈路，可以將AI系統(tǒng)擴(kuò)展到單個(gè)機(jī)架之外，以全連接配置連接數(shù)百甚至數(shù)千個(gè)芯片。這實(shí)現(xiàn)了更高效的資源利用，促進(jìn)了更大、更復(fù)雜的基于代理AI系統(tǒng)的發(fā)展。
6 `+ \9 A2 M5 C$ g( O5 U

超越計(jì)算：平衡硬件設(shè)計(jì)方法
AI硬件設(shè)計(jì)中對(duì)計(jì)算能力的主要關(guān)注需要與更多關(guān)注內(nèi)存帶寬和連接性取得平衡。這種觀點(diǎn)的轉(zhuǎn)變需要從簡(jiǎn)單增加內(nèi)存轉(zhuǎn)向開發(fā)優(yōu)化計(jì)算、內(nèi)存和互連相互作用的架構(gòu)。

- M1 y9 ?+ A3 b0 Z9 D: P一種有希望的方法涉及將光IO直接集成到芯片設(shè)計(jì)中，創(chuàng)建更緊密耦合和高效的系統(tǒng)。這可以通過光電共封裝和硅基光電子等技術(shù)實(shí)現(xiàn)，允許芯片和內(nèi)存模塊之間進(jìn)行高帶寬通信。
$ A+ D" h, o& ^' c2 y# r
示例說明
7 M$ ?3 Q$ I) v% Y/ g$ O+ ^" l. kAyar Labs示例，其中標(biāo)準(zhǔn)ASIC配備8個(gè)HBM模塊，并增加了10個(gè)光IO chiplet。這些chiplet可以連接到1TB內(nèi)存庫，有效擴(kuò)展了ASIC的內(nèi)存容量。這種方法為ASIC提供了快速HBM和高帶寬光學(xué)連接到大量外部?jī)?nèi)存的訪問。
: Y+ e, s, ]# e  [- p

這種方法解決了目前阻礙AI系統(tǒng)擴(kuò)展的內(nèi)存瓶頸，使其能夠處理復(fù)雜AI工作負(fù)載不斷增長(zhǎng)的需求。
/ e- t4 X$ v& n. k2 `  R$ M
7 C) R( o5 X5 d" s; Z上圖展示了傳統(tǒng)互連和光學(xué)IO在關(guān)鍵性能指標(biāo)上的比較，光IO在帶寬、延遲、密度和可擴(kuò)展性方面都具有顯著優(yōu)勢(shì)。
) l0 T/ W7 @7 J7 V
; U8 D; O2 G* B+ A5 Z5 ?. C塑造可持續(xù)AI未來：整體視角
實(shí)現(xiàn)AI的變革潛力并確保其經(jīng)濟(jì)可行性需要一種涵蓋整個(gè)AI生態(tài)系統(tǒng)的整體方法。這包括硬件設(shè)計(jì)、軟件開發(fā)和服務(wù)交付。
4 L& c' }/ x$ U% }
關(guān)注的主要領(lǐng)域：

高效和可擴(kuò)展的硬件架構(gòu)：從以計(jì)算為中心的方法轉(zhuǎn)向平衡設(shè)計(jì)，集成高帶寬連接和充足的內(nèi)存容量。

優(yōu)化的軟件框架：開發(fā)能夠高效管理多個(gè)模型之間通信和數(shù)據(jù)流的框架，最小化基于代理工作負(fù)載中的延遲并最大化吞吐量。

靈活和可擴(kuò)展的云基礎(chǔ)設(shè)施：實(shí)現(xiàn)動(dòng)態(tài)資源分配和重新配置，以適應(yīng)推理工作負(fù)載的波動(dòng)需求。
: A, s$ i' ?2 X, A[/ol]
當(dāng)前AI經(jīng)濟(jì)狀況既帶來挑戰(zhàn)也提供機(jī)遇�，F(xiàn)有硬件基礎(chǔ)設(shè)施的限制突顯了創(chuàng)新和架構(gòu)范式根本轉(zhuǎn)變的迫切需求。采用光IO等技術(shù)并采取更平衡的硬件設(shè)計(jì)方法可以克服當(dāng)前阻礙先進(jìn)AI系統(tǒng)發(fā)展的可擴(kuò)展性和效率障礙。

) s4 z0 t# y' Z2 s2 [從用戶-模型到代理-代理交互的轉(zhuǎn)變雖然要求很高，但展示了AI的未來。復(fù)雜和互連系統(tǒng)將為廣泛應(yīng)用提供動(dòng)力。解決與這一轉(zhuǎn)變相關(guān)的經(jīng)濟(jì)挑戰(zhàn)對(duì)于釋放AI的全部潛力并培育更可持續(xù)和有益的技術(shù)環(huán)境至為重要。

參考文獻(xiàn)
2 E* z! w0 S- a/ C  n! y1 W( C% t  X$ E[1] TechTechPotato, "The Economics of AI are Failing, But We Can Fix It (With Lasers)," YouTube, Sep. 25, 2024. [Online]. Available: https://www.youtube.com/watch?v=gsW4dLYb55c.
/ ^4 M5 [* s( i! LEND
& Q) }% c/ X: L0 {/ k6 F4 A

軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
! `% @* X5 E# ?* b! y& |點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)

1 Q1 L% z4 u8 t% F; x6 @" A歡迎轉(zhuǎn)載

3 W! m7 I+ m" o; G* l9 \轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！

+ ~5 C3 i2 m: I8 e2 m7 h9 A$ i$ _
+ ?3 _! g# y5 G! b' H  _: T

- F2 i* M& U! D; k
關(guān)注我們

+ n$ d* u" g5 i

8 M# B  h: O& M* }4 J, O

" K- M2 a4 m* {8 U$ Q; u' S5 O , u+ Z% b. H* n# o6 [: ~1 p8 x

                     
( j( O. g; l$ u. ?
& h+ ?; t- W& n% V$ j
& v* \% M# P: X+ ]; Q
關(guān)于我們：
* e: c! d3 Y4 B- [深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。

http://www.latitudeda.com/
. T8 u3 ^8 z/ z（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）