經(jīng)濟(jì)可持續(xù)的AI擴(kuò)展：硬件挑戰(zhàn)和光學(xué)解決方案分析

逍遙設(shè)計(jì)自動(dòng)化

引言
# P0 U  w, R" P" L. r大型語言模型（LLM）的出現(xiàn)推動(dòng)了AI能力的快速發(fā)展。然而，這些進(jìn)步的經(jīng)濟(jì)可持續(xù)性取決于解決關(guān)鍵的硬件限制。本文基于 Ayar Labs CEO在"The Economics of AI are Failing, But We Can Fix It (With Lasers)"的見解，探討了AI擴(kuò)展面臨的經(jīng)濟(jì)障礙，特別是從以用戶為中心向基于代理的工作流轉(zhuǎn)變，以及光學(xué)互連在塑造可行未來中的作用[1]。

$ u0 d2 z1 Q( c+ t) ~0 [$ N當(dāng)前AI經(jīng)濟(jì)：盈利困境
盡管AI生態(tài)系統(tǒng)從芯片制造到軟件開發(fā)都有大量投資，但許多參與者仍難以實(shí)現(xiàn)盈利。這一困境源于當(dāng)前以計(jì)算為中心的硬件設(shè)計(jì)，難以滿足LLM不斷增長(zhǎng)的需求。這些模型需要龐大的內(nèi)存容量、強(qiáng)大的計(jì)算能力和高內(nèi)存帶寬。結(jié)果，公司不得不購買更多硬件，主要是內(nèi)存控制器，僅僅為了容納不斷擴(kuò)大的模型規(guī)模，從而增加了成本。

9 P+ e/ }7 ~/ Z8 Q" S! k6 q5 W更復(fù)雜的是現(xiàn)有互連技術(shù)如以太網(wǎng)和專用Fabric技術(shù)（如Infinity Fabric和NVLink）的限制。這些技術(shù)雖然提供高帶寬，但在距離和可擴(kuò)展性方面受到限制。這使得高效連接大量芯片變得困難，阻礙了更強(qiáng)大、更高效AI系統(tǒng)的發(fā)展。
3 H  c% T6 t9 z. p) e

從以用戶為中心到基于代理的AI：范式轉(zhuǎn)變
AI工作負(fù)載從用戶-模型交互向代理-代理交互的演變對(duì)現(xiàn)有硬件基礎(chǔ)設(shè)施提出了重大挑戰(zhàn)。在用戶-模型工作流中，用戶與單一模型交互。這種工作流在硬件資源分配方面相對(duì)簡(jiǎn)單。然而，代理-代理交互（多個(gè)模型相互通信以滿足用戶請(qǐng)求）引入了新的復(fù)雜性。這種基于代理的方法雖然提供了更大的靈活性和潛在的更好結(jié)果，但大大增加了對(duì)內(nèi)存、計(jì)算資源和互連帶寬的需求。

隨著代理鏈中模型數(shù)量的增加，處理所需的token總數(shù)成倍增長(zhǎng)，直接影響成本和延遲。此外，鏈的整體延遲必須保持在用戶可接受的限度內(nèi)，這進(jìn)一步給系統(tǒng)帶來壓力。

3 Z( |" T, n2 g1 H- z( \例如，三個(gè)模型的菊花鏈?zhǔn)顾�需的token總數(shù)增加三倍，導(dǎo)致成本和延遲增加三倍。這凸顯了迫切需要能夠高效處理日益復(fù)雜的基于代理工作流需求的硬件解決方案。

" f: a: z6 n/ l' H
% `* |2 w2 [* O- i$ Q光IO：可擴(kuò)展性和效率的途徑
目前基于銅的互連的局限性突顯了更可擴(kuò)展、更高效解決方案的需求。光學(xué)IO作為一種有希望的替代方案出現(xiàn)，利用光速進(jìn)行數(shù)據(jù)傳輸。這種技術(shù)提供了顯著優(yōu)勢(shì)：

更高帶寬：光IO超越了當(dāng)前以太網(wǎng)和Fabric技術(shù)的能力。

更高密度：這種技術(shù)能在給定空間內(nèi)實(shí)現(xiàn)更高的帶寬集中度。

更低延遲：光IO減少了數(shù)據(jù)傳輸相關(guān)的時(shí)間延遲。
$ v5 l6 n: r4 Q1 B) k& O& K7 Z[/ol]
, P; a. s# {, d, w( j通過用光互連替代銅鏈路，可以將AI系統(tǒng)擴(kuò)展到單個(gè)機(jī)架之外，以全連接配置連接數(shù)百甚至數(shù)千個(gè)芯片。這實(shí)現(xiàn)了更高效的資源利用，促進(jìn)了更大、更復(fù)雜的基于代理AI系統(tǒng)的發(fā)展。


超越計(jì)算：平衡硬件設(shè)計(jì)方法
AI硬件設(shè)計(jì)中對(duì)計(jì)算能力的主要關(guān)注需要與更多關(guān)注內(nèi)存帶寬和連接性取得平衡。這種觀點(diǎn)的轉(zhuǎn)變需要從簡(jiǎn)單增加內(nèi)存轉(zhuǎn)向開發(fā)優(yōu)化計(jì)算、內(nèi)存和互連相互作用的架構(gòu)。
0 u7 P2 S/ F1 r( e5 h, ]
一種有希望的方法涉及將光IO直接集成到芯片設(shè)計(jì)中，創(chuàng)建更緊密耦合和高效的系統(tǒng)。這可以通過光電共封裝和硅基光電子等技術(shù)實(shí)現(xiàn)，允許芯片和內(nèi)存模塊之間進(jìn)行高帶寬通信。
. A: q. n9 _* k+ U7 g3 P+ u; J
示例說明
% r0 e3 C' K1 R% ^Ayar Labs示例，其中標(biāo)準(zhǔn)ASIC配備8個(gè)HBM模塊，并增加了10個(gè)光IO chiplet。這些chiplet可以連接到1TB內(nèi)存庫，有效擴(kuò)展了ASIC的內(nèi)存容量。這種方法為ASIC提供了快速HBM和高帶寬光學(xué)連接到大量外部?jī)?nèi)存的訪問。
" V# Z8 x: Z( X$ o# T

這種方法解決了目前阻礙AI系統(tǒng)擴(kuò)展的內(nèi)存瓶頸，使其能夠處理復(fù)雜AI工作負(fù)載不斷增長(zhǎng)的需求。

上圖展示了傳統(tǒng)互連和光學(xué)IO在關(guān)鍵性能指標(biāo)上的比較，光IO在帶寬、延遲、密度和可擴(kuò)展性方面都具有顯著優(yōu)勢(shì)。

1 n. P4 C* o' c, ]/ Y6 n- K塑造可持續(xù)AI未來：整體視角
實(shí)現(xiàn)AI的變革潛力并確保其經(jīng)濟(jì)可行性需要一種涵蓋整個(gè)AI生態(tài)系統(tǒng)的整體方法。這包括硬件設(shè)計(jì)、軟件開發(fā)和服務(wù)交付。
: {# ~9 R9 {5 P+ i
關(guān)注的主要領(lǐng)域：

高效和可擴(kuò)展的硬件架構(gòu)：從以計(jì)算為中心的方法轉(zhuǎn)向平衡設(shè)計(jì)，集成高帶寬連接和充足的內(nèi)存容量。

優(yōu)化的軟件框架：開發(fā)能夠高效管理多個(gè)模型之間通信和數(shù)據(jù)流的框架，最小化基于代理工作負(fù)載中的延遲并最大化吞吐量。

靈活和可擴(kuò)展的云基礎(chǔ)設(shè)施：實(shí)現(xiàn)動(dòng)態(tài)資源分配和重新配置，以適應(yīng)推理工作負(fù)載的波動(dòng)需求。
[/ol]
. |6 H" R6 `( i2 k& o當(dāng)前AI經(jīng)濟(jì)狀況既帶來挑戰(zhàn)也提供機(jī)遇。現(xiàn)有硬件基礎(chǔ)設(shè)施的限制突顯了創(chuàng)新和架構(gòu)范式根本轉(zhuǎn)變的迫切需求。采用光IO等技術(shù)并采取更平衡的硬件設(shè)計(jì)方法可以克服當(dāng)前阻礙先進(jìn)AI系統(tǒng)發(fā)展的可擴(kuò)展性和效率障礙。
# q* K. A0 S8 [+ D1 g7 f
從用戶-模型到代理-代理交互的轉(zhuǎn)變雖然要求很高，但展示了AI的未來。復(fù)雜和互連系統(tǒng)將為廣泛應(yīng)用提供動(dòng)力。解決與這一轉(zhuǎn)變相關(guān)的經(jīng)濟(jì)挑戰(zhàn)對(duì)于釋放AI的全部潛力并培育更可持續(xù)和有益的技術(shù)環(huán)境至為重要。
7 ?- y) \* F  \4 W
參考文獻(xiàn)
[1] TechTechPotato, "The Economics of AI are Failing, But We Can Fix It (With Lasers)," YouTube, Sep. 25, 2024. [Online]. Available: https://www.youtube.com/watch?v=gsW4dLYb55c.
: l' g) ^3 a, K/ P( w( W' JEND


軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
" q+ i/ H  N2 X* h; u  }2 l, z8 n點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)

; W1 L* p! @# h8 t歡迎轉(zhuǎn)載
) n5 ]" }- d5 f5 x
轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！

9 r  @( z1 |; @5 J5 u9 i9 h# {

/ `$ \2 ~4 |3 x. q+ X# d& S  S5 \
' d$ A0 `; d4 T+ }
2 u3 b3 k5 c# ^/ ]關(guān)注我們
2 w+ w0 o1 P* o! X+ t+ Q
/ L' v& V7 I. |* \; B

$ q8 j1 h' @7 F- n, \

8 x, B7 r6 t% d1 C; H+ ^ ' N+ P! |$ ~/ h8 a4 z2 d

                     

0 o% a: u. b% I* e

關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。

& \0 Z* i/ b4 g1 X' yhttp://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）