Hot Chips 2024 | IBM Telum II 處理器和 Spyre 加速器推動企業(yè)計算中的人工智能發(fā)展

逍遙設計自動化

引言
" A& y+ o7 c+ i, Q# s在企業(yè)計算領域不斷演進的背景下，IBM 通過其最新產(chǎn)品——IBM Telum II 處理器和 IBM Spyre 加速器芯片繼續(xù)推動創(chuàng)新的邊界。這些尖端技術(shù)旨在滿足商業(yè)應用中人工智能（AI）日益增長的需求，提供性能、效率和安全性。本文將幫助了解這些新技術(shù)的細節(jié)及其潛在影響，探討這些創(chuàng)新如何改變企業(yè)計算格局。
6 X# H3 k+ s4 t- i
. [$ ?, e( b3 X3 |* ]; w
IBM 大型機的力量
: z" ^9 ?  }% G( a: o在深入探討新硬件的具體細節(jié)之前，了解 IBM 大型機在當今金融生態(tài)系統(tǒng)中的關鍵作用非常必要。根據(jù)最新研究，估計 70% 的全球交易（按價值計算）通過 IBM 大型機進行處理。這一驚人的統(tǒng)計數(shù)據(jù)凸顯了大型機技術(shù)持續(xù)創(chuàng)新對支持全球經(jīng)濟的重要性。
# u6 O2 p# z0 C: ?  M& ^
此外，IBM 大型機以可靠性著稱，可用率高達 99.999999%。這種可靠性對于需要持續(xù)運行且無法承受系統(tǒng)故障的企業(yè)來說極為關鍵。

) O9 L4 c& l; ~; w4 ^. j2 \/ b
IBM Telum II 處理器簡介
IBM Telum II 處理器代表了大型機計算技術(shù)的重大飛躍。設計用于支持每秒數(shù)百萬次交易的 AI 處理，這一能力在當今數(shù)據(jù)驅(qū)動的商業(yè)環(huán)境中變得越來越重要。

Telum II 的主要特點
1. 增強的中央計算復合體：Telum II 比前代產(chǎn)品有多項改進，包括：

分支預測增強

重命名寄存器容量增加（從 128 增至 160）

改進的存儲回寫和地址轉(zhuǎn)換

面積減少 20%

功耗降低 15%
- u7 i4 {* M2 k0 s/ j
2. 擴展的緩存系統(tǒng)：處理器具有：

10 個 L2 緩存，每個 36MB，訪問時間 3.6ns

360MB 虛擬 L3 緩存，訪問時間 11.5ns

2.8GB 虛擬 L4 緩存，訪問時間 48.5ns

片外帶寬提高 30%

Drawer 到 Drawer 的加密，增強安全性
$ Q0 \% p9 d+ N. E: N

' k" R; s$ K4 J% C, \# F& O" W
圖 1：說明 Telum II 中央計算復合體和 L2 緩存系統(tǒng)的改進，突出了處理能力和內(nèi)存訪問的顯著增強。

3. 先進的制造工藝：Telum II 采用 5nm 技術(shù)制造，實現(xiàn)：
0 Y8 N% r5 Q6 e

每核心最高 5.5 GHz 時鐘速度

插槽性能提升 20%

處理器功耗降低 18%

" }# r6 X( d3 J1 [; a/ j& y4. 創(chuàng)新的電壓控制：處理器incorporates一個復雜的電壓控制回路系統(tǒng)，包括：

細粒度電壓測量線路

工作負載監(jiān)控功能

與電源轉(zhuǎn)換子系統(tǒng)緊密耦合
$ D1 j0 s8 k+ G; A


圖 2：展示Telum II 電壓控制回路實現(xiàn)的效率提升，說明在各種工作負載利用率下的較低功耗。
9 S! K& c2 d2 N; `5 a
4 b% v& ^, l3 v& D. L5. 片上數(shù)據(jù)處理單元（DPU）：Telum II 具有專用 DPU 用于 I/O 加速，包括：
6 W; G$ p' r2 T( I* `1 m. i

4 個處理集群

每個集群 8 個定制微控制器

與整體緩存系統(tǒng)的連貫連接

專用 I/O 加速邏輯

隊列管理器，用于高效的工作調(diào)度和傳輸


& i6 X6 y1 H2 r) |/ N1 f- T* C  c

& u* B7 s, L" m  K5 L. S圖 3：概述片上數(shù)據(jù)處理單元（DPU）的結(jié)構(gòu)，突出其組件和互連，用于高效的 I/O 處理。
& U6 Z. f* S/ \1 I% w$ _
6. 大規(guī)模擴展 I/O 子系統(tǒng)：Telum II 支持：

在一個連貫的 SMP 系統(tǒng)中最多 32 個處理器

12 個 I/O 擴展 Drawer，每個有 16 個 PCIe 插槽

單個系統(tǒng)中總共最多 192 個 PCIe 卡

* _) f7 w& t- g% k, |7 |Telum II 中的 AI 加速
Telum II 最顯著的進步之一是其增強的 AI 能力。處理器包含針對傳統(tǒng) AI 模型優(yōu)化的片上 AI 加速器，能夠支持各種企業(yè)用例：

清算結(jié)算

合規(guī)檢查

保險理賠處理

欺詐檢測
+ [9 U1 B9 L+ z& Q/ {& }
* T& H  U& _* u, ATelum II 中的 AI 加速器提供：
* s2 F7 T$ ]; d) l' S0 ~

每芯片 24 TOPS（每秒萬億次運算）

每 Drawer 192 TOPS

每系統(tǒng) 768 TOPS

作為 CISC 指令集成，實現(xiàn)無縫操作

支持 INT8 和 FP16 數(shù)據(jù)類型
% y4 f4 W- k+ `4 b9 @% D; E


圖 4：展示Telum II 處理器的 AI 加速能力，突出其 TOPS 性能和系統(tǒng)集成。
IBM Spyre 加速器簡介
Telum II 的片上 AI 加速器令人印象深刻，但 IBM 通過引入 IBM Spyre 加速器進一步推進了 AI 加速。這種專用芯片旨在處理更復雜的 AI 模型和工作負載，補充了 Telum II 的能力。
# R) k2 c/ O1 i% f0 O
' x( r' |5 b* v# P# [IBM Spyre 加速器的主要特點
1. 強大的性能：Spyre 加速器提供：
6 P) u$ R3 [! N" _3 t# C

超過 300 TOPS 的計算能力

75W 功耗，采用 PCIe gen5 x16 適配器

128GB LPDDR5 內(nèi)存
) D' y1 T2 `6 @+ M/ Z. E& A3 T3 D
2. 創(chuàng)新的核心設計：加速器具有：

32 個核心，每個配備 2MB 暫存器

55%+ 有效 TOPS 利用率

獨特的 "corelet" 結(jié)構(gòu)，用于高效數(shù)據(jù)移動
: K* f) C. M- K  Y" G
8 C- i% s! y$ E! A8 m2 p
5 s$ |1 E+ P: T! e- y

9 }2 M3 z* K% R% K% _: {圖 5：說明 IBM Spyre 加速器的核心和 corelet 結(jié)構(gòu)，展示其創(chuàng)新設計，實現(xiàn)高效 AI 計算。
( G& p: R) K# Q1 i! e
3. 高速互連：Spyre 加速器利用：

32B 雙向環(huán)連接核心

200GB/s LPDDR5 連接到暫存器環(huán)

128B 雙向環(huán)連接暫存器
# K% T- b( Y$ ~1 ]1 q% X
' K# r7 z  ~5 a" Q  F( u( {4. 可擴展性：Spyre 加速器設計用于集群部署：
0 j" }4 C! f/ t9 h$ l' Y+ n& x

I/O Drawer 中的 8 張卡形成一個邏輯集群

每個集群總共 1TB 內(nèi)存

1.6TB/s 聚合內(nèi)存帶寬
4 |- ]3 b7 j) M) {
5. 先進制造：采用三星 5LPE 技術(shù)制造，Spyre 加速器擁有：

260 億晶體管

330 平方毫米芯片面積

14 英里線路

  S$ y% W$ I" S5 {/ I/ N1 k! [+ W
3 ^! A  z% d& _
+ T3 C2 ^. K% H2 H圖 6：比較 Telum II 處理器和 Spyre 加速器的制造細節(jié)，突出兩種芯片使用的先進技術(shù)。
' r3 }8 D  p4 M. M# g& a/ F
  z& k1 i, @7 g3 J; r6 b0 p7 }AI 用例和應用
$ q: ]4 P8 @9 B5 y( ?  v. H; @Telum II 處理器和 Spyre 加速器的結(jié)合為企業(yè)環(huán)境中的各種 AI 應用提供了支持。這些技術(shù)支持 AI 的整體方法，允許企業(yè)利用傳統(tǒng)和更復雜的 AI 模型用于各種用例：

增強欺詐檢測：通過結(jié)合 Telum II 的片上 AI 加速器和更強大的 Spyre 加速器，金融機構(gòu)可以實施復雜的欺詐檢測系統(tǒng)，實時分析交易。

生成式 AI：Spyre 加速器的高性能使其適合運行大型語言模型和其他生成式 AI 應用，為內(nèi)容創(chuàng)建和數(shù)據(jù)分析開創(chuàng)了新的可能性。

代碼轉(zhuǎn)換和輔助：開發(fā)人員可以受益于 AI 驅(qū)動的代碼建議、解釋和轉(zhuǎn)換工具，提高生產(chǎn)力和代碼質(zhì)量。

系統(tǒng)管理：AI 助手可以通過提供智能建議來簡化 IT 操作，包括系統(tǒng)配置、故障排除和優(yōu)化。

合規(guī)和風險管理：先進的 AI 功能可以應用于自動化合規(guī)檢查，并增強各行業(yè)的風險評估流程。
[/ol]

' U4 J% }" a9 Y結(jié)論
IBM Telum II 處理器和 IBM Spyre 加速器代表了企業(yè)計算和 AI 加速的重大進步。通過將高性能傳統(tǒng)計算與專用 AI 硬件相結(jié)合，IBM 使企業(yè)能夠?qū)崟r應對日益復雜的挑戰(zhàn)。

這些創(chuàng)新將改變金融、保險、軟件開發(fā)和 IT 運營等多個行業(yè)。隨著 AI 在商業(yè)運營中繼續(xù)發(fā)揮關鍵作用，以前所未有的速度處理海量數(shù)據(jù)并做出智能決策的能力將成為關鍵的競爭優(yōu)勢。
/ K0 k2 t" x2 A; Y4 X
IBM Spyre 加速器目前處于技術(shù)預覽階段，但對企業(yè) AI 格局的潛在影響巨大。隨著這些技術(shù)的成熟和廣泛應用，可以期待看到一波新的 AI 驅(qū)動的應用和服務，重塑企業(yè)在數(shù)字時代的運營方式。
2 \1 u$ s# z, B$ L6 |" \
) ]5 W5 k& G1 _/ x! k企業(yè)計算中 AI 的發(fā)展才剛剛開始，IBM 通過 Telum II 處理器和 Spyre 加速器為未來創(chuàng)造了新的可能性，在這個未來中，AI 將深度集成到業(yè)務運營的每個方面，推動效率、創(chuàng)新和增長。

( W3 n) {  `0 h. j; l1 V參考文獻
[1] C. Berry, "IBM Telum? II processor and IBM Spyre Accelerator chip for AI," presented at Hot Chips 2024, 2024.

0 \9 c( j+ a4 @* b- END -

軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應用，PIC Studio都可提升您的工作效能。
) Q! Q$ f5 f: j點擊左下角"閱讀原文"馬上申請
3 m. `! B' u8 O* L
( y8 A8 H* h. B: v% M, W; W+ v歡迎轉(zhuǎn)載
% ~2 ?+ B8 `6 S' z8 S/ z
/ G9 Z4 f/ Z0 Z  S轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！

- [( c+ q" z+ S0 T' Q/ u/ x

- f& D- E. x  ?) |3 B4 G

; r; d& A- U$ W$ m, N關注我們

9 x0 T; k; `: B0 H! R; R5 k

) \+ F- g" S/ B 6 |& k' H: |5 `8 f

                     



關于我們：
. W2 i8 Z: L5 \( E深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導體芯片設計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設計和仿真軟件，提供成熟的設計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設計與仿真。我們提供特色工藝的半導體芯片集成電路版圖、IP和PDK工程服務，廣泛服務于光通訊、光計算、光量子通信和微納光子器件領域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務。

http://www.latitudeda.com/
+ T7 F1 j7 B) y（點擊上方名片關注我們，發(fā)現(xiàn)更多精彩內(nèi)容）