Hot Chips 2024 | 設(shè)備端人工智能的優(yōu)勢、發(fā)展與熱設(shè)計挑戰(zhàn)

逍遙設(shè)計自動化

引言
7 X' ]3 b) H/ U, s3 E隨著人工智能（AI）不斷革新我們的生活方方面面，AI處理的方式和地點正在發(fā)生顯著變化。本文探討設(shè)備端AI的概念、優(yōu)勢、發(fā)展歷程以及所面臨的熱設(shè)計挑戰(zhàn)[1]。
. i" ?  Q3 n5 S. D; [
什么是設(shè)備端AI？
設(shè)備端AI指的是直接在邊緣設(shè)備（如智能手機、筆記本電腦和汽車）上執(zhí)行機器學習算法，而不完全依賴云端處理。這種方法利用片上處理器，如神經(jīng)網(wǎng)絡(luò)處理單元（NPU）、中央處理器（CPU）和圖形處理器（GPU）在本地執(zhí)行AI任務(wù)。

圖1展示了設(shè)備端AI的概念，說明了智能如何向邊緣設(shè)備轉(zhuǎn)移，以及片上AI處理涉及的各種處理器。
. K9 N/ J6 c: z' z/ w  T
' y' F& Y) V' W3 ?$ v- k設(shè)備端AI的興起正在改變多個領(lǐng)域，使設(shè)備、機器和"物品"變得更加智能和響應(yīng)迅速。雖然云計算對于大數(shù)據(jù)匯集和訓練AI推理算法仍然必不可少，但設(shè)備端處理通過提供即時、本地化的AI功能補充了這些能力。

% M5 u2 Y  \) E1 R( G& C設(shè)備端AI的優(yōu)勢和重要性
與云端AI處理相比，設(shè)備端AI具有幾個顯著優(yōu)勢：

低延遲：通過本地處理數(shù)據(jù)，設(shè)備端AI大大減少了AI驅(qū)動任務(wù)所需的時間，這對實時應(yīng)用很重要。

增強隱私：將數(shù)據(jù)保留在設(shè)備上，減少了向外部服務(wù)器傳輸敏感信息的需求，從而提高了數(shù)據(jù)隱私和安全性。

離線功能：設(shè)備端AI允許應(yīng)用程序在沒有互聯(lián)網(wǎng)連接的情況下運行，確保在網(wǎng)絡(luò)覆蓋不佳或無網(wǎng)絡(luò)覆蓋的地區(qū)也能保持一致的性能。

減輕網(wǎng)絡(luò)負載：通過本地處理數(shù)據(jù)，設(shè)備端AI有助于減輕網(wǎng)絡(luò)基礎(chǔ)設(shè)施的負擔，降低帶寬需求和相關(guān)成本。

降低功耗：在許多情況下，設(shè)備端處理比持續(xù)向云端傳輸數(shù)據(jù)消耗更少的電力。

4 _8 ?, c2 Q. e% u# p
圖2展示了設(shè)備端推理的優(yōu)勢，突出了低延遲、隱私和可靠性等優(yōu)點。
" `" K% L1 R* S( x# }
6 G' z8 ]8 j9 n6 K# ]9 U應(yīng)用場景的演變
設(shè)備端AI的發(fā)展迅速且具有變革性。讓我們探討應(yīng)用場景和硬件如何隨時間推移而發(fā)展：
( [0 M  Y. u& A( C9 B' l
A. 2015年：早期設(shè)備端AI應(yīng)用主要使用簡單的卷積神經(jīng)網(wǎng)絡(luò)（CNN）進行基本任務(wù)。硬件僅限于標量和矢量處理單元。
+ {6 M7 G0 F' k& t
B. 2016-2022年：這一時期引入了更復雜的模型，包括Transformer、長短期記憶（LSTM）網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和高級CNN。硬件能力擴展到包括張量處理單元。

C. 2023年：隨著具有數(shù)十億參數(shù)的大型語言模型（LLM）、大型視覺模型（LVM）和大型多模態(tài)模型（LMM）的出現(xiàn)，格局發(fā)生了巨大變化。硬件進步通過改進的張量處理和針對Transformer的優(yōu)化支持這些復雜模型。
, Z; e' s; j6 B& N
) k4 T) L$ s' x5 E) f+ a1 Q3 c( YD. 2023年及以后：我們現(xiàn)在看到參數(shù)超過100億的更大模型不斷涌現(xiàn)，為復雜的AI助手、Stable Diffusion等圖像生成工具和多模態(tài)生成式AI模型提供支持。硬件持續(xù)發(fā)展，引入微瓦片推理和增強對多模態(tài)AI任務(wù)的支持。
9 Z9 k. v, s# A/ w
圖3描繪了從2015年到2023年及以后設(shè)備端AI應(yīng)用場景和硬件的演變，展示了模型復雜性和相應(yīng)硬件進步的發(fā)展歷程。
, M' d9 y( \# [3 r3 F5 a
熱設(shè)計影響
2 r: k6 H* L6 N+ [- V, b& X& W7 @隨著設(shè)備端AI能力的增長，在移動設(shè)備上運行復雜模型所帶來的熱設(shè)計挑戰(zhàn)也隨之增加。設(shè)備端AI的熱設(shè)計影響受幾個因素影響：

工作負載依賴性：不同的AI任務(wù)會產(chǎn)生不同數(shù)量的熱量，這取決于任務(wù)的復雜性和持續(xù)時間。

設(shè)備散熱解決方案：設(shè)備冷卻系統(tǒng)的效果在管理AI處理產(chǎn)生的熱量方面起著關(guān)鍵作用。

硬件配置：處理器的特定組合及其功率特性會影響熱輸出。
[/ol]
0 c( E( T2 s  d' u( F目前，許多移動設(shè)備和筆記本電腦可以在可接受的熱限制內(nèi)運行具有數(shù)十億參數(shù)的LLM。然而，隨著模型復雜性的持續(xù)增長，處理能力、內(nèi)存和功耗方面的潛在限制可能會導致熱設(shè)計挑戰(zhàn)增加。
/ I; N; S% z2 H3 [; \1 `, e
5 w9 P6 R8 ^3 [圖4說明了從移動設(shè)備到云服務(wù)器不同設(shè)備類型的模型復雜性和熱限制之間的關(guān)系。

6 [2 W, }4 u) t- I2 R8 b潛在解決方案
為了應(yīng)對設(shè)備端AI帶來的熱設(shè)計挑戰(zhàn)，正在探索幾種潛在解決方案：
1. 提高性能和降低功耗：提高AI處理單元的效率是管理熱輸出最有效的方法。最近的進展顯示了顯著的改進，一些處理器在更低的熱量下實現(xiàn)了高達5倍的性能提升。
6 J* D% H1 G% M1 n, P, H4 K8 A* U  e3 P# Y
! Y: O7 a! R4 N$ n圖5顯示了Intel Core Ultra 7 155H處理器的性能改進，展示了一小時持續(xù)使用期間的NPU性能表現(xiàn)。

2. 熱緩解技術(shù)：實施類似于CPU使用的熱管理策略可以幫助控制熱量產(chǎn)生。這可能包括動態(tài)頻率縮放和工作負載分配。
) ]5 T- g/ I4 m6 o4 h7 r
5 L% |9 R5 Y% [1 x* ]6 X3. 混合AI：這種方法根據(jù)任務(wù)復雜性和設(shè)備能力在云端和邊緣設(shè)備之間分配AI工作負載。通過在必要時將復雜任務(wù)卸載到云端，混合AI可以幫助管理移動設(shè)備上的熱輸出，同時仍然利用設(shè)備端處理對適當任務(wù)的優(yōu)勢。

6 n) g+ U. }% I% l! _( [% o4. 封裝創(chuàng)新：芯片封裝技術(shù)的進步，如2.5D和3D集成技術(shù)，可以提高每瓦性能，潛在地減少熱輸出。
" _$ N6 n1 c+ f" C
7 _) A. s& M! C5 V' `! m5. 持續(xù)AI研究：持續(xù)進行的AI架構(gòu)和算法研究可能會導致更高效的模型，以較低的功耗和熱量產(chǎn)生提供高性能。
" W* |8 Q( m: B! n  p
  s) D  e. a5 H$ J. O- M結(jié)論
設(shè)備端AI代表了將智能功能直接帶到邊緣設(shè)備的重大進步。雖然提供了諸如低延遲、增強隱私和提高可靠性等眾多優(yōu)勢，但在移動平臺上運行復雜AI模型的熱設(shè)計影響仍然是持續(xù)的挑戰(zhàn)。

隨著該領(lǐng)域的不斷發(fā)展，硬件進步、高效模型設(shè)計和創(chuàng)新熱管理技術(shù)的結(jié)合將是實現(xiàn)設(shè)備端AI全部潛力的關(guān)鍵。AI處理的未來在于在強大的本地計算和可持續(xù)的熱管理之間取得平衡，為各個領(lǐng)域日益智能和響應(yīng)迅速的設(shè)備創(chuàng)造條件。
9 F) L0 Z2 a, G! Q
  s2 M# f- G+ J圖6總結(jié)了設(shè)備端AI的要點，包括其優(yōu)勢、當前狀態(tài)以及克服熱設(shè)計挑戰(zhàn)的未來方向。
" K7 |0 {! L' G2 h2 }8 b
參考文獻
[1] N. Nikfar, "On-device AI and its thermal implications," in Hot Chips 36 Symposium (HCS), Aug. 2024, pp. 1-25.

END

) `! f8 a  w# G; f# m
' t  P6 u7 x/ ~$ g  P. H軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
% r1 r6 S$ _; D9 ], Y2 x" ^/ e( X8 B& P點擊左下角"閱讀原文"馬上申請
+ W/ J, K4 L$ `/ p' n. G9 P
& K* V5 y* y7 }1 c& e歡迎轉(zhuǎn)載

轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！
: ]& t4 P9 r+ F' r6 C




關(guān)注我們

% c2 k. `% r( G: Q- n) O

) ?; S, n9 z4 C& }1 s: f

0 Y% ^/ s' N% P& G1 k

v5 H$ V5 f3 y* Q" F$ ^4 I : ?  y: D: B4 ?4 ?  L$ \. s

                     
) |- h3 c6 c6 C+ }' r& T' X


- l! g6 ]" W0 `& ], O# G, z& }關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導體芯片設(shè)計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計和仿真軟件，提供成熟的設(shè)計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設(shè)計與仿真。我們提供特色工藝的半導體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
7 E5 `5 q2 [1 T4 ~" r+ w0 ~% t
http://www.latitudeda.com/
（點擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）