6月26日消息，據(jù)The Next Platform報(bào)道，近日AMD執(zhí)行副總裁兼數(shù)據(jù)中心解決方案集團(tuán)總經(jīng)理Forrest Norrod在接受采訪時(shí)表示，AMD將助力構(gòu)建全球最大的單體人工智能（AI）訓(xùn)練集群，將集成高達(dá)120萬(wàn)片的GPU。

120萬(wàn)片GPU 是一個(gè)非常驚人的數(shù)字，要知道目前全球最強(qiáng)的超級(jí)計(jì)算機(jī)Frontier 所配備的 GPU 數(shù)量才只有37888片，這也意味著AMD所支持的AI訓(xùn)練集群的GPU規(guī)模將達(dá)到Frontier的30多倍。不過(guò)，F(xiàn)orrest Norrod沒(méi)有透露哪個(gè)組織正在考慮構(gòu)建這種規(guī)模的AI系統(tǒng)，但確實(shí)提到“非常清醒的人”正在考慮在AI訓(xùn)練集群上花費(fèi)數(shù)百億到數(shù)千億美元。

目前的AI訓(xùn)練集群通常由幾千個(gè) GPU 構(gòu)建而成，這些 GPU 通過(guò)跨多個(gè)服務(wù)器機(jī)架或更少的高速互連連接。如果要?jiǎng)?chuàng)建一個(gè)擁有高達(dá) 120 萬(wàn)個(gè) GPU 的單體 AI 集群，意味著將會(huì)面臨極為復(fù)雜的高速互連網(wǎng)絡(luò)，并且還會(huì)有延遲、功耗、硬件故障等諸多的問(wèn)題，這似乎是難以實(shí)現(xiàn)的。

比如，AI工作負(fù)載對(duì)延遲非常敏感，尤其是尾部延遲和異常值，其中某些數(shù)據(jù)傳輸比其他數(shù)據(jù)傳輸花費(fèi)的時(shí)間要長(zhǎng)得多，并且會(huì)中斷工作負(fù)載。此外，當(dāng)今的超級(jí)計(jì)算機(jī)也會(huì)面臨每隔幾個(gè)小時(shí)就會(huì)發(fā)生的 GPU 或其他硬件故障。當(dāng)擴(kuò)展到當(dāng)今最大的超級(jí)計(jì)算機(jī)集群的 30 倍時(shí)。更為關(guān)鍵的是，如此龐大的AI訓(xùn)練集群，將會(huì)產(chǎn)生極為龐大的能耗，不僅穩(wěn)定的供電將會(huì)是一個(gè)大難題，而且配套的散熱解決方案也面臨巨大挑戰(zhàn)。