9月29日晚間，國(guó)產(chǎn)人工智能（AI）技術(shù)廠商深度求索（DeepSeek）宣布正式發(fā)布DeepSeek-V3.2-Exp模型，正如其名稱所示的那樣，這是一個(gè)基于V3.2實(shí)驗(yàn)性（Experimental）的版本。
作為邁向新一代架構(gòu)的中間步驟，Deepseek V3.2-Exp 在 V3.1-Terminus 的基礎(chǔ)上引入了 DeepSeek Sparse Attention（一種稀疏注意力機(jī)制），針對(duì)長(zhǎng)文本的訓(xùn)練和推理效率進(jìn)行了探索性的優(yōu)化和驗(yàn)證。
據(jù)介紹，DeepSeek Sparse Attention（DSA）稀疏注意力機(jī)制首次實(shí)現(xiàn)了細(xì)粒度稀疏注意力機(jī)制，在幾乎不影響模型輸出效果的前提下，實(shí)現(xiàn)了長(zhǎng)文本訓(xùn)練和推理效率的大幅提升。
為了嚴(yán)謹(jǐn)?shù)卦u(píng)估引入稀疏注意力帶來(lái)的影響，我們特意把 DeepSeek-V3.2-Exp 的訓(xùn)練設(shè)置與 V3.1-Terminus 進(jìn)行了嚴(yán)格的對(duì)齊。在各領(lǐng)域的公開(kāi)評(píng)測(cè)集上，DeepSeek-V3.2-Exp 的表現(xiàn)與 V3.1-Terminus 基本持平。
目前，Deepseek官方 App、網(wǎng)頁(yè)端、小程序均已同步更新為 DeepSeek-V3.2-Exp，同時(shí) API 大幅度降價(jià)。
值得注意的是，在DeepSeek-V3.2-Exp模型發(fā)布的同一天，國(guó)產(chǎn)AI芯片大廠寒武紀(jì)就宣布，已同步實(shí)現(xiàn)對(duì)DeepSeek-V3.2-Exp的適配，并開(kāi)源大模型推理引擎vLLM-MLU源代碼。
目前，開(kāi)發(fā)者可以在寒武紀(jì)軟硬件平臺(tái)上第一時(shí)間體驗(yàn)DeepSeek-V3.2-Exp的亮點(diǎn)。
寒武紀(jì)表示，公司一直重視芯片和算法的聯(lián)合創(chuàng)新，致力于以軟硬件協(xié)同的方式，優(yōu)化大模型部署性能，降低部署成本。
此前，寒武紀(jì)對(duì)DeepSeek系列模型進(jìn)行了深入的軟硬件協(xié)同性能優(yōu)化，達(dá)成了業(yè)界領(lǐng)先的算力利用率水平。
針對(duì)本次的DeepSeek-V3.2-Exp新模型架構(gòu)，寒武紀(jì)通過(guò)Triton算子開(kāi)發(fā)實(shí)現(xiàn)了快速適配，利用BangC融合算子開(kāi)發(fā)實(shí)現(xiàn)了極致性能優(yōu)化，并基于計(jì)算與通信的并行策略，再次達(dá)成了業(yè)界領(lǐng)先的計(jì)算效率水平。
寒武紀(jì)表示，依托DeepSeek-V3.2-Exp帶來(lái)的全新DeepSeek Sparse Attention機(jī)制，疊加寒武紀(jì)的極致計(jì)算效率，可大幅降低長(zhǎng)序列場(chǎng)景下的訓(xùn)推成本，共同為客戶提供極具競(jìng)爭(zhēng)力的軟硬件解決方案。
