近日，3D NAND 閃存和 3D DRAM 創新技術的領先開發商 NEO Semiconductor 宣布推出其 3D X-AI芯片技術，旨在取代高帶寬內存 （HBM） 內部的現有 DRAM 芯片，通過在 3D DRAM 中實現 AI 處理來解決數據總線帶寬瓶頸。

NEO Semiconductor 稱，3D X-AI 可以減少 AI 工作負載期間 HBM 和 GPU 之間傳輸的大量數據，這將徹底改變 AI 芯片的性能、功耗和成本，助力各類生成式 AI應用。具體來說，采用NEO Semiconductor的3D X-AI技術的AI芯片可以實現：

1、100 倍性能加速：包含 8,000 個神經元電路，可在 3D 內存中執行 AI 處理；

2、功耗降低 99%：最大限度地減少將數據傳輸到 GPU 進行計算的需求，從而降低數據總線的功耗和發熱。

3、8 倍內存密度：包含 300 個DRAM層，并允許通過類似 HBM 的堆疊，可以運行更大的 AI 模型。

其實早在2023年5月，NEO Semiconductor就宣布將推出全球首款3D DRAM技術，該技術的思路跟3D NAND Flash類似，都是通過堆棧層數來提高內存容量，類似于3D NAND Flash芯片中的FBC浮柵極技術，但增加一層Mask光罩就可以形成垂直結構，因此良率高，成本低，密度大幅提升。

NEO Semiconductor當時就表示，其將推出的第一代3D X-DRAM就可以做到230層堆棧，核心容量128Gb，而當前2D DRAM內存的核心容量還在16Gb。

而此次NEO Semiconductor推出的 3D X-AI 芯片，就是在進一步提升3D X-DRAM層數的基礎上加入了面向AI的神經元電路。

具體來說，單個 3D X-AI 芯片包括 300 層容量為 128 Gb 的 3D DRAM 單元和一層具有 8,000 個神經元的神經回路。根據NEO Semiconductor公布的數據，這可以支持每個芯片高達 10 TB/s 的 AI 處理吞吐量。如果使用 12 個 3D X-AI 芯片通過類似HBM的堆疊封裝， 則可以可實現 120 TB/s 的處理吞吐量，從而實現 100 倍的性能提升。

“由于架構和技術效率低下，當前的AI芯片浪費了大量的性能和功率，”NEO Semiconductor的創始人兼首席執行官Andy Hsu說。“當前的 AI 芯片架構將數據存儲在 HBM 中，并依賴 GPU 執行所有計算。這種分離的數據存儲和數據處理架構使得數據總線成為不可避免的性能瓶頸。通過數據總線傳輸大量數據將會導致性能受限和非常高的功耗。3D X-AI 可以在每個 HBM 芯片中執行 AI 處理。這可以大大減少 HBM 和 GPU 之間傳輸的數據，從而提高性能并顯著降低功耗。”

Network Storage Advisors總裁Jay Kramer表示：“3D X-AI技術的應用可以加速新興AI用例的開發，并促進新用例的創造。利用3D X-AI技術創建下一代優化的AI芯片，將開啟AI應用創新的新時代。”