12月4消息，亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）于當?shù)貢r間周二在“re:Invent”大會上發(fā)布了其下一代人工智能加速器 Trainium3，該加速器將于2025年年底上市，性能將比上一代產(chǎn)品高 4 倍。

不過，在 re:Invent 大會上，AWS官方卻并未公布關(guān)于該芯片的具體細節(jié)，但此前AWS 安納普爾納實驗室團隊的產(chǎn)品與客戶工程總監(jiān) Gadi Hutt 在接受The Register采訪時表示，預(yù)計 Trainium3 將成為第一款基于 3nm 工藝節(jié)點構(gòu)建的專用機器學習加速器，與 Trainium2 相比，其效率將提高 40%。

在性能方面，亞馬遜對Trainium3 的實際性能數(shù)據(jù)也含糊其辭：Trainium3 基于完整的“UltraServer”配置可以帶來 4 倍性能提升，而該配置仍在開發(fā)中。

資料顯示，Trainium2 UltraServer 總共配備了 64 個加速器，可提供 83.2 petaFLOPS 的密集 FP8 性能。因此，理論上，Trainium3 UltraServer 應(yīng)該可以提供 332.8 petaFLOPS 的計算能力，盡管目前尚不清楚其精度是多少。

考慮到稀疏性，假設(shè) Trainium3 也支持與其處理器相同的 4 倍乘數(shù)，亞馬遜的下一代 UltraServer 可能會提供超過 1.3 exaFLOPS 的 AI 計算能力。

這些性能聲明指的是峰值計算性能（即 FLOPS），而不是一些模糊的 AI 基準。這是一個重要的細節(jié)，因為根據(jù) AI 工作負載，性能取決于許多因素，而不僅僅是 FLOPS。例如，內(nèi)存帶寬的增加可以大大提高大型語言模型 (LLM) 推理性能，之前在 Nvidia 帶寬增強的 H200 芯片上就看到過這種情況。

盡管亞馬遜愿意透露性能和效率指標，但尚未透露該芯片內(nèi)存負載的詳細信息。

Trainium2 蓄勢待發(fā)

在亞馬遜官方公布有關(guān) Trainium3 的更多細節(jié)之前，亞馬遜正在將其  Trainium2 計算服務(wù)推向大眾市場。

Trainium2 在去年的 re:Invent 大會上亮相，它既是訓練芯片又是推理芯片，具有 1.3 petaFLOPS 的密集 FP8 計算能力和 96 GB 的高帶寬內(nèi)存，每個內(nèi)存可提供 2.9 TBps 的帶寬。

作為參考，單個擁有H100擁有略低于 2 petaFLOPS 的密集 FP8 性能、80GB 的 HBM 和 3.35 TBps 的帶寬。

該芯片本身由一對 5nm 計算芯片組成，采用臺積電的晶圓基板上芯片 (CoWoS) 封裝技術(shù)與四個 24GB HBM 堆棧集成。

與谷歌的張量處理單元 (TPU) 類似，這些加速器被捆綁到機架級集群中。64 個 Trainium2 部件分布在兩個互連的機架上。

正如我們前面提到的，這種 Trn2 UltraServer 配置能夠產(chǎn)生 83.2 petaFLOPS 的密集 FP8 性能，或者在啟用 4x 稀疏模式的情況下產(chǎn)生 332.8 petaFLOPS。

如果您需要更多的計算能力，亞馬遜還提供配備 16 個加速器和約 20.8 petaFLOPS 密集計算能力的Trainium2 實例。

據(jù)亞馬遜稱，這些實例比 EC2 上當前一代基于 GPU 的實例（特別是基于英偉達H200 的 P5e 和 P5en 實例）的性價比高出 30% 到 40%。

對于那些使用芯片訓練模型的人來說，Trainium2 可以擴展到擁有 100,000 個或更多芯片的更大集群。這正是 AWS 和模型構(gòu)建者 Anthropic 在 Rainier 項目下計劃做的事情，該項目將涉及將“數(shù)十萬”個 Trainium2 芯片放入集群中進行 AI 訓練。該超級計算系統(tǒng)將于 2025 年全面啟動，據(jù)說能夠產(chǎn)生“用于訓練 [Anthropic] 最新一代 AI 模型的 5 倍 exaFLOPS 數(shù)量”。

Trainium2 在實例現(xiàn)已在 AWS 美國東部（俄亥俄州）推出，不久的將來還將在其他地區(qū)推出。同時，更大的Trainium2 UltraServer 配置目前已推出預(yù)覽版。