2025年6月30日,華為正式宣布開源盤古7B參數(shù)的稠密模型、盤古Pro MoE 72B混合專家模型和基于昇騰的模型推理技術(shù)。
華為稱,此舉是華為踐行昇騰生態(tài)戰(zhàn)略的又一關(guān)鍵舉措,推動大模型技術(shù)的研究與創(chuàng)新發(fā)展,加速推進(jìn)人工智能在千行百業(yè)的應(yīng)用與價值創(chuàng)造。
目前,盤古Pro MoE 72B模型權(quán)重、基礎(chǔ)推理代碼,已正式上線開源平臺;基于昇騰的超大規(guī)模MoE模型推理代碼,已正式上線開源平臺;盤古7B相關(guān)模型權(quán)重與推理代碼將于近期上線開源平臺。
根據(jù)華為此前公布的信息顯示,盤古7B模型為雙系統(tǒng)框架,具備“快思慢想”功能,能夠根據(jù)任務(wù)復(fù)雜度自動選擇合適的模式,即在常規(guī)請求下使用“快思考”模式,在復(fù)雜推理任務(wù)下使用“慢思考”模式,從而在延遲和推理深度之間實現(xiàn)平衡。在多款復(fù)雜推理測試中,盤古7B的性能要強于阿里巴巴旗下的Qwen3-8B、智譜旗下的GLM4-9B,
盤古Pro MoE 72B混合專家模型參數(shù)量為720億,在激活160億參數(shù)量的情況下,通過動態(tài)激活專家網(wǎng)絡(luò)的創(chuàng)新設(shè)計,實現(xiàn)了以小打大的優(yōu)異性能,甚至可以媲美千億級模型的性能表現(xiàn)。華為聲稱,該模型針對昇騰300I Duo、800I A2平臺進(jìn)行優(yōu)化,在后者上可以實現(xiàn)單卡1148 token/s的推理速度。
在業(yè)界權(quán)威大模型榜單SuperCLUE中文大模型基準(zhǔn)測評5月的數(shù)據(jù),盤古72B在開源排行榜中位列第五,總分為58.75分,超越Qwen3-14B、Qwen3-8B,僅次于DeepSeek-R1滿血版、DeepSeek-V3滿血版以及Qwen3-32B和235B。
值得一提的是,盤古72B的文本理解與創(chuàng)作得分位居榜單之首,為80.48分,但在科學(xué)推理能力上僅有39.6分,明顯弱于位居榜單前列的其余模型。
華為專家曾表示,“盤古72B是兼顧性能與推理成本的黃金尺寸,最適合行業(yè)用戶用AI改造業(yè)務(wù)。”
除了前述兩款模型,華為近期還推出了參數(shù)規(guī)模達(dá)7180億新模型——盤古Ultra MoE,全流程在昇騰AI計算平臺上訓(xùn)練。華為同時發(fā)布盤古Ultra MoE模型架構(gòu)和訓(xùn)練方法的技術(shù)報告,披露眾多技術(shù)細(xì)節(jié)。
據(jù)華為技術(shù)專家介紹,華為盤古718B Ultra MoE萬卡集群預(yù)訓(xùn)練MFU(模型算力利用率)達(dá)到41%,實驗室已達(dá)到45%;CloudMatrix384超節(jié)點訓(xùn)練MoE大模型,MFU超過50%。
值得一提的是,近期在華為開發(fā)者大會(HDC 2025)上,華為云還發(fā)布了盤古大模型5.5,對自然語言處理(NLP)、計算機視覺(CV)、多模態(tài)、預(yù)測、科學(xué)計算五大基礎(chǔ)模型進(jìn)行升級。同時,基于CloudMatrix 384超節(jié)點的新一代昇騰AI云服務(wù)全面上線。