Hot Chips 2024 | IBM Telum II 處理器和 Spyre 加速器推動企業(yè)計算中的人工智能發(fā)展

逍遙設計自動化

引言
8 P! S( |4 S9 U, q& d8 c$ y" Q. z* R在企業(yè)計算領域不斷演進的背景下，IBM 通過其最新產(chǎn)品——IBM Telum II 處理器和 IBM Spyre 加速器芯片繼續(xù)推動創(chuàng)新的邊界。這些尖端技術旨在滿足商業(yè)應用中人工智能（AI）日益增長的需求，提供性能、效率和安全性。本文將幫助了解這些新技術的細節(jié)及其潛在影響，探討這些創(chuàng)新如何改變企業(yè)計算格局。
/ e8 N' ~5 f/ ]8 h" X# t$ v
  ?7 v- g4 Q5 s8 A
IBM 大型機的力量
% }; @' p, r4 I: I  v" \+ I在深入探討新硬件的具體細節(jié)之前，了解 IBM 大型機在當今金融生態(tài)系統(tǒng)中的關鍵作用非常必要。根據(jù)最新研究，估計 70% 的全球交易（按價值計算）通過 IBM 大型機進行處理。這一驚人的統(tǒng)計數(shù)據(jù)凸顯了大型機技術持續(xù)創(chuàng)新對支持全球經(jīng)濟的重要性。
4 x) |& W) Y8 |, H! [# w
此外，IBM 大型機以可靠性著稱，可用率高達 99.999999%。這種可靠性對于需要持續(xù)運行且無法承受系統(tǒng)故障的企業(yè)來說極為關鍵。
6 W- i/ B2 W' u* G1 }8 j! P/ k
4 c$ u. w& z7 z
IBM Telum II 處理器簡介
! o4 C2 y+ T8 i* [7 NIBM Telum II 處理器代表了大型機計算技術的重大飛躍。設計用于支持每秒數(shù)百萬次交易的 AI 處理，這一能力在當今數(shù)據(jù)驅動的商業(yè)環(huán)境中變得越來越重要。

Telum II 的主要特點
. f( k7 y7 x- T1. 增強的中央計算復合體：Telum II 比前代產(chǎn)品有多項改進，包括：
1 V) F! n3 w/ X6 V& C+ s$ N

分支預測增強

重命名寄存器容量增加（從 128 增至 160）

改進的存儲回寫和地址轉換

面積減少 20%

功耗降低 15%
- l6 Q& {# \! H2 Q0 |
2 d6 A" X: g2 l( Z2. 擴展的緩存系統(tǒng)：處理器具有：
8 [; f/ A1 N3 V  s7 [$ g/ ~; }

10 個 L2 緩存，每個 36MB，訪問時間 3.6ns

360MB 虛擬 L3 緩存，訪問時間 11.5ns

2.8GB 虛擬 L4 緩存，訪問時間 48.5ns

片外帶寬提高 30%

Drawer 到 Drawer 的加密，增強安全性
' n: h) b( k" X
0 I6 [& ?: u4 X7 a$ f6 D; {7 G

圖 1：說明 Telum II 中央計算復合體和 L2 緩存系統(tǒng)的改進，突出了處理能力和內存訪問的顯著增強。

3. 先進的制造工藝：Telum II 采用 5nm 技術制造，實現(xiàn)：
& e* {3 d& T- G2 G$ m+ X# H3 Z

每核心最高 5.5 GHz 時鐘速度

插槽性能提升 20%

處理器功耗降低 18%

$ o  x/ D3 \' l; c/ u; A4. 創(chuàng)新的電壓控制：處理器incorporates一個復雜的電壓控制回路系統(tǒng)，包括：

細粒度電壓測量線路

工作負載監(jiān)控功能

與電源轉換子系統(tǒng)緊密耦合
" K9 T  k/ ?# Q4 C7 F# y) L
9 H$ O% X( @- L; i1 I8 A: W

' z6 r- q8 Y5 ]( Z  D+ w/ T圖 2：展示Telum II 電壓控制回路實現(xiàn)的效率提升，說明在各種工作負載利用率下的較低功耗。
% h$ Z9 c. {9 @! {" w! P9 P0 _
5. 片上數(shù)據(jù)處理單元（DPU）：Telum II 具有專用 DPU 用于 I/O 加速，包括：
, T8 ?* g3 d. x- p, K: v7 z) Q8 b

4 個處理集群

每個集群 8 個定制微控制器

與整體緩存系統(tǒng)的連貫連接

專用 I/O 加速邏輯

隊列管理器，用于高效的工作調度和傳輸




9 Q7 y' G; I5 l1 d8 S, ~/ K圖 3：概述片上數(shù)據(jù)處理單元（DPU）的結構，突出其組件和互連，用于高效的 I/O 處理。

6 x5 f& L; s! t6. 大規(guī)模擴展 I/O 子系統(tǒng)：Telum II 支持：

在一個連貫的 SMP 系統(tǒng)中最多 32 個處理器

12 個 I/O 擴展 Drawer，每個有 16 個 PCIe 插槽

單個系統(tǒng)中總共最多 192 個 PCIe 卡

0 I/ v; \8 S; ?. z7 P' K3 I! OTelum II 中的 AI 加速
Telum II 最顯著的進步之一是其增強的 AI 能力。處理器包含針對傳統(tǒng) AI 模型優(yōu)化的片上 AI 加速器，能夠支持各種企業(yè)用例：
( w2 ?4 ]" l4 c

清算結算

合規(guī)檢查

保險理賠處理

欺詐檢測

9 q- y6 G0 k5 b' jTelum II 中的 AI 加速器提供：

每芯片 24 TOPS（每秒萬億次運算）

每 Drawer 192 TOPS

每系統(tǒng) 768 TOPS

作為 CISC 指令集成，實現(xiàn)無縫操作

支持 INT8 和 FP16 數(shù)據(jù)類型
/ i( C; ?% T8 ]. e. U
( R) ?4 _* P" P( |
0 |4 G- m8 B8 H7 T2 [- g
0 y: _! ?1 |% z/ T圖 4：展示Telum II 處理器的 AI 加速能力，突出其 TOPS 性能和系統(tǒng)集成。
IBM Spyre 加速器簡介
Telum II 的片上 AI 加速器令人印象深刻，但 IBM 通過引入 IBM Spyre 加速器進一步推進了 AI 加速。這種專用芯片旨在處理更復雜的 AI 模型和工作負載，補充了 Telum II 的能力。
& g$ p; s) W) e) B+ r1 f
2 F4 [- c, j: h  A" U9 lIBM Spyre 加速器的主要特點
3 [+ y3 M' q3 p, f/ J$ M1. 強大的性能：Spyre 加速器提供：
" S/ s! S( d" `+ q, `, j) @( [

超過 300 TOPS 的計算能力

75W 功耗，采用 PCIe gen5 x16 適配器

128GB LPDDR5 內存

2. 創(chuàng)新的核心設計：加速器具有：

32 個核心，每個配備 2MB 暫存器

55%+ 有效 TOPS 利用率

獨特的 "corelet" 結構，用于高效數(shù)據(jù)移動
# R5 Y, I/ c" k/ d; s" X
" d' |4 ]. i2 R) u, ^4 M


9 f# S8 Z4 b+ t6 t% H0 `3 b- s圖 5：說明 IBM Spyre 加速器的核心和 corelet 結構，展示其創(chuàng)新設計，實現(xiàn)高效 AI 計算。

3. 高速互連：Spyre 加速器利用：

32B 雙向環(huán)連接核心

200GB/s LPDDR5 連接到暫存器環(huán)

128B 雙向環(huán)連接暫存器

) ]& ]- q2 H* Q3 W& L4. 可擴展性：Spyre 加速器設計用于集群部署：
3 a' E, [) V# H- V$ I

I/O Drawer 中的 8 張卡形成一個邏輯集群

每個集群總共 1TB 內存

1.6TB/s 聚合內存帶寬
" L% ]$ d. T3 `" \  R& \% `4 q" _
5. 先進制造：采用三星 5LPE 技術制造，Spyre 加速器擁有：
3 X; O& w! X5 ?3 q. y/ S  A

260 億晶體管

330 平方毫米芯片面積

14 英里線路



0 f' G# u6 h0 Z圖 6：比較 Telum II 處理器和 Spyre 加速器的制造細節(jié)，突出兩種芯片使用的先進技術。
- R6 j- m! ?. F3 p2 `, f0 J1 q
AI 用例和應用
5 a5 o# V% ~' ?# m8 c  x  R( VTelum II 處理器和 Spyre 加速器的結合為企業(yè)環(huán)境中的各種 AI 應用提供了支持。這些技術支持 AI 的整體方法，允許企業(yè)利用傳統(tǒng)和更復雜的 AI 模型用于各種用例：

增強欺詐檢測：通過結合 Telum II 的片上 AI 加速器和更強大的 Spyre 加速器，金融機構可以實施復雜的欺詐檢測系統(tǒng)，實時分析交易。

生成式 AI：Spyre 加速器的高性能使其適合運行大型語言模型和其他生成式 AI 應用，為內容創(chuàng)建和數(shù)據(jù)分析開創(chuàng)了新的可能性。

代碼轉換和輔助：開發(fā)人員可以受益于 AI 驅動的代碼建議、解釋和轉換工具，提高生產(chǎn)力和代碼質量。

系統(tǒng)管理：AI 助手可以通過提供智能建議來簡化 IT 操作，包括系統(tǒng)配置、故障排除和優(yōu)化。

合規(guī)和風險管理：先進的 AI 功能可以應用于自動化合規(guī)檢查，并增強各行業(yè)的風險評估流程。
[/ol]

結論
3 p1 ~. C  L9 P6 R: c: mIBM Telum II 處理器和 IBM Spyre 加速器代表了企業(yè)計算和 AI 加速的重大進步。通過將高性能傳統(tǒng)計算與專用 AI 硬件相結合，IBM 使企業(yè)能夠實時應對日益復雜的挑戰(zhàn)。
- o. j- g* j- }& {5 n" x! }' h
+ f2 G, F' k; O8 o+ I) j; b這些創(chuàng)新將改變金融、保險、軟件開發(fā)和 IT 運營等多個行業(yè)。隨著 AI 在商業(yè)運營中繼續(xù)發(fā)揮關鍵作用，以前所未有的速度處理海量數(shù)據(jù)并做出智能決策的能力將成為關鍵的競爭優(yōu)勢。

; y3 F( J: E/ Q! E$ S: wIBM Spyre 加速器目前處于技術預覽階段，但對企業(yè) AI 格局的潛在影響巨大。隨著這些技術的成熟和廣泛應用，可以期待看到一波新的 AI 驅動的應用和服務，重塑企業(yè)在數(shù)字時代的運營方式。

2 q# u9 h0 _7 G+ R7 K+ j* M# J2 }企業(yè)計算中 AI 的發(fā)展才剛剛開始，IBM 通過 Telum II 處理器和 Spyre 加速器為未來創(chuàng)造了新的可能性，在這個未來中，AI 將深度集成到業(yè)務運營的每個方面，推動效率、創(chuàng)新和增長。

6 j. j% k( J8 c7 E* Y參考文獻
( Y7 A. ?- i+ l[1] C. Berry, "IBM Telum? II processor and IBM Spyre Accelerator chip for AI," presented at Hot Chips 2024, 2024.
' y6 ~9 ^! Y6 C: R
- END -
, d' l- d1 L  Y) U$ Y
軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應用，PIC Studio都可提升您的工作效能。
8 s  g2 Z. f4 @0 v/ j點擊左下角"閱讀原文"馬上申請

1 n5 ~2 C% n! H  {5 i$ T0 }5 u9 B+ Q歡迎轉載

轉載請注明出處，請勿修改內容和刪除作者信息！
  S: B- w) y: Q
6 k% H( c4 _. E1 v. J% C

) D7 n' u  ^- {" j+ J" r  T1 ]
$ L% G' M5 C4 U4 y: R" U' W3 A, L/ x) E
$ I9 H: v, R: t. N3 t關注我們
8 t9 ?. U5 V: ]( x# h
! _( K& V* u4 g1 k7 n' n! H

7 `/ ~2 o! j% I% Z

; G) u/ A: Q4 a' F- |! t

                     
: m. _5 c5 k2 K0 p


% M+ p5 S2 h3 J! A& a2 S3 z% [關于我們：
) ?* ~1 B9 y7 H+ D深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導體芯片設計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設計和仿真軟件，提供成熟的設計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設計與仿真。我們提供特色工藝的半導體芯片集成電路版圖、IP和PDK工程服務，廣泛服務于光通訊、光計算、光量子通信和微納光子器件領域的頭部客戶。逍遙科技與國內外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術與服務。
  j+ o5 A4 f! S) v6 t- i: \
http://www.latitudeda.com/
" ?! f9 ?: q% A! o  H（點擊上方名片關注我們，發(fā)現(xiàn)更多精彩內容）