經(jīng)濟(jì)可持續(xù)的AI擴(kuò)展：硬件挑戰(zhàn)和光學(xué)解決方案分析

逍遙設(shè)計(jì)自動(dòng)化

引言
3 I1 S5 w! a* W6 ^3 s, ?大型語言模型（LLM）的出現(xiàn)推動(dòng)了AI能力的快速發(fā)展。然而，這些進(jìn)步的經(jīng)濟(jì)可持續(xù)性取決于解決關(guān)鍵的硬件限制。本文基于 Ayar Labs CEO在"The Economics of AI are Failing, But We Can Fix It (With Lasers)"的見解，探討了AI擴(kuò)展面臨的經(jīng)濟(jì)障礙，特別是從以用戶為中心向基于代理的工作流轉(zhuǎn)變，以及光學(xué)互連在塑造可行未來中的作用[1]。

3 a% x5 u: d$ f4 R  h6 x* `當(dāng)前AI經(jīng)濟(jì)：盈利困境
盡管AI生態(tài)系統(tǒng)從芯片制造到軟件開發(fā)都有大量投資，但許多參與者仍難以實(shí)現(xiàn)盈利。這一困境源于當(dāng)前以計(jì)算為中心的硬件設(shè)計(jì)，難以滿足LLM不斷增長(zhǎng)的需求。這些模型需要龐大的內(nèi)存容量、強(qiáng)大的計(jì)算能力和高內(nèi)存帶寬。結(jié)果，公司不得不購(gòu)買更多硬件，主要是內(nèi)存控制器，僅僅為了容納不斷擴(kuò)大的模型規(guī)模，從而增加了成本。

更復(fù)雜的是現(xiàn)有互連技術(shù)如以太網(wǎng)和專用Fabric技術(shù)（如Infinity Fabric和NVLink）的限制。這些技術(shù)雖然提供高帶寬，但在距離和可擴(kuò)展性方面受到限制。這使得高效連接大量芯片變得困難，阻礙了更強(qiáng)大、更高效AI系統(tǒng)的發(fā)展。


% P  }: E: o1 A7 c) J& o5 D" s, H: r從以用戶為中心到基于代理的AI：范式轉(zhuǎn)變
. _$ {: I* j! o/ N- U! PAI工作負(fù)載從用戶-模型交互向代理-代理交互的演變對(duì)現(xiàn)有硬件基礎(chǔ)設(shè)施提出了重大挑戰(zhàn)。在用戶-模型工作流中，用戶與單一模型交互。這種工作流在硬件資源分配方面相對(duì)簡(jiǎn)單。然而，代理-代理交互（多個(gè)模型相互通信以滿足用戶請(qǐng)求）引入了新的復(fù)雜性。這種基于代理的方法雖然提供了更大的靈活性和潛在的更好結(jié)果，但大大增加了對(duì)內(nèi)存、計(jì)算資源和互連帶寬的需求。
* E8 D5 H* s5 h2 m- P
隨著代理鏈中模型數(shù)量的增加，處理所需的token總數(shù)成倍增長(zhǎng)，直接影響成本和延遲。此外，鏈的整體延遲必須保持在用戶可接受的限度內(nèi)，這進(jìn)一步給系統(tǒng)帶來壓力。

例如，三個(gè)模型的菊花鏈?zhǔn)顾�需的token總數(shù)增加三倍，導(dǎo)致成本和延遲增加三倍。這凸顯了迫切需要能夠高效處理日益復(fù)雜的基于代理工作流需求的硬件解決方案。
, M9 ~. B8 h; W* q$ z5 }
4 ~2 I, h1 n- N" Y/ `; o
光IO：可擴(kuò)展性和效率的途徑
目前基于銅的互連的局限性突顯了更可擴(kuò)展、更高效解決方案的需求。光學(xué)IO作為一種有希望的替代方案出現(xiàn)，利用光速進(jìn)行數(shù)據(jù)傳輸。這種技術(shù)提供了顯著優(yōu)勢(shì)：

更高帶寬：光IO超越了當(dāng)前以太網(wǎng)和Fabric技術(shù)的能力。

更高密度：這種技術(shù)能在給定空間內(nèi)實(shí)現(xiàn)更高的帶寬集中度。

更低延遲：光IO減少了數(shù)據(jù)傳輸相關(guān)的時(shí)間延遲。
[/ol]
1 x6 d6 ^) f6 B通過用光互連替代銅鏈路，可以將AI系統(tǒng)擴(kuò)展到單個(gè)機(jī)架之外，以全連接配置連接數(shù)百甚至數(shù)千個(gè)芯片。這實(shí)現(xiàn)了更高效的資源利用，促進(jìn)了更大、更復(fù)雜的基于代理AI系統(tǒng)的發(fā)展。


9 H* L/ a4 w. I* c: Q' U7 C超越計(jì)算：平衡硬件設(shè)計(jì)方法
+ G5 v8 o: r5 d/ i5 M& ~8 \AI硬件設(shè)計(jì)中對(duì)計(jì)算能力的主要關(guān)注需要與更多關(guān)注內(nèi)存帶寬和連接性取得平衡。這種觀點(diǎn)的轉(zhuǎn)變需要從簡(jiǎn)單增加內(nèi)存轉(zhuǎn)向開發(fā)優(yōu)化計(jì)算、內(nèi)存和互連相互作用的架構(gòu)。

一種有希望的方法涉及將光IO直接集成到芯片設(shè)計(jì)中，創(chuàng)建更緊密耦合和高效的系統(tǒng)。這可以通過光電共封裝和硅基光電子等技術(shù)實(shí)現(xiàn)，允許芯片和內(nèi)存模塊之間進(jìn)行高帶寬通信。
7 M+ M. m' @% n& n% N( o8 T" ^
示例說明
Ayar Labs示例，其中標(biāo)準(zhǔn)ASIC配備8個(gè)HBM模塊，并增加了10個(gè)光IO chiplet。這些chiplet可以連接到1TB內(nèi)存庫，有效擴(kuò)展了ASIC的內(nèi)存容量。這種方法為ASIC提供了快速HBM和高帶寬光學(xué)連接到大量外部?jī)?nèi)存的訪問。

& ?3 H. [) s8 {/ ?& Z4 U
這種方法解決了目前阻礙AI系統(tǒng)擴(kuò)展的內(nèi)存瓶頸，使其能夠處理復(fù)雜AI工作負(fù)載不斷增長(zhǎng)的需求。

: E8 I( N, w$ Z* k" o上圖展示了傳統(tǒng)互連和光學(xué)IO在關(guān)鍵性能指標(biāo)上的比較，光IO在帶寬、延遲、密度和可擴(kuò)展性方面都具有顯著優(yōu)勢(shì)。

塑造可持續(xù)AI未來：整體視角
! i% I8 Z) l2 k* b  v) Z實(shí)現(xiàn)AI的變革潛力并確保其經(jīng)濟(jì)可行性需要一種涵蓋整個(gè)AI生態(tài)系統(tǒng)的整體方法。這包括硬件設(shè)計(jì)、軟件開發(fā)和服務(wù)交付。

關(guān)注的主要領(lǐng)域：

高效和可擴(kuò)展的硬件架構(gòu)：從以計(jì)算為中心的方法轉(zhuǎn)向平衡設(shè)計(jì)，集成高帶寬連接和充足的內(nèi)存容量。

優(yōu)化的軟件框架：開發(fā)能夠高效管理多個(gè)模型之間通信和數(shù)據(jù)流的框架，最小化基于代理工作負(fù)載中的延遲并最大化吞吐量。

靈活和可擴(kuò)展的云基礎(chǔ)設(shè)施：實(shí)現(xiàn)動(dòng)態(tài)資源分配和重新配置，以適應(yīng)推理工作負(fù)載的波動(dòng)需求。
6 l' T, W) s1 p+ P- e; B: c' d: S0 w[/ol]
$ H+ M* e4 b8 d" i8 S' L# v9 F當(dāng)前AI經(jīng)濟(jì)狀況既帶來挑戰(zhàn)也提供機(jī)遇�，F(xiàn)有硬件基礎(chǔ)設(shè)施的限制突顯了創(chuàng)新和架構(gòu)范式根本轉(zhuǎn)變的迫切需求。采用光IO等技術(shù)并采取更平衡的硬件設(shè)計(jì)方法可以克服當(dāng)前阻礙先進(jìn)AI系統(tǒng)發(fā)展的可擴(kuò)展性和效率障礙。
) O; e* {0 q* w/ j% ~4 o: R
- `- F$ s+ [. l1 Z- g/ E$ P從用戶-模型到代理-代理交互的轉(zhuǎn)變雖然要求很高，但展示了AI的未來。復(fù)雜和互連系統(tǒng)將為廣泛應(yīng)用提供動(dòng)力。解決與這一轉(zhuǎn)變相關(guān)的經(jīng)濟(jì)挑戰(zhàn)對(duì)于釋放AI的全部潛力并培育更可持續(xù)和有益的技術(shù)環(huán)境至為重要。
! @5 U. o: w. Z* L3 u" O- J
參考文獻(xiàn)
[1] TechTechPotato, "The Economics of AI are Failing, But We Can Fix It (With Lasers)," YouTube, Sep. 25, 2024. [Online]. Available: https://www.youtube.com/watch?v=gsW4dLYb55c.
END


軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)
- C$ T6 m% l& {/ Z6 @
歡迎轉(zhuǎn)載
/ S; q0 C) B$ a. f$ [; L/ U" d, v! F6 H, Y
+ W+ q; V0 I* i: W% J; K4 E轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！

7 m0 Y' M* n: O$ y
! @: A0 G3 K1 R, P


關(guān)注我們
, @5 P- e4 X' V1 }
' @1 V% Y9 f" |7 w+ O. V  z

" {4 E: }# x( B4 ^8 U8 }" E8 b) h# U# U

+ l) r/ h8 j  Z! U9 N

                     
% B) c7 p: V& {$ u" L7 M& w
! P1 d0 M( k8 u' `% K+ n7 V% `6 N

0 V0 I8 B9 B' V3 [$ p% I3 J9 o% P關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。

http://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）