剛剛，英偉達全新發布的開源模型 Nemotron-4 340B，有可能徹底改變訓練 LLM 的方式！從此，或許各行各業都不再需要昂貴的真實世界數據集了。而且，Nemotron-4 340B 直接超越了 Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2，甚至可以和 GPT-4 掰手腕！

就在剛剛，英偉達再一次證明了自己的 AI 創新領域的領導地位。

它全新發布的 Nemotron-4 340B，是一系列具有開創意義的開源模型，有可能徹底改變訓練 LLM 的合成數據生成方式！

這一突破性進展，標志著 AI 行業的一個重要里程碑 ——

從此，各行各業都無需依賴大量昂貴的真實世界數據集了，用合成數據，就可以創建性能強大的特定領域大語言模型！

現在，Nemotron-4 340B 已經取得了輝煌戰績，直接超越了 Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2，甚至可以和 GPT-4 一較高下！

具體來說，Nemotron-4 340B 包括基礎模型 Base、指令模型 Instruct 和獎勵模型 Reward，并構建了一個高質量合成數據生成的完整流程。

模型支持 4K 上下文窗口、50 多種自然語言和 40 多種編程語言，訓練數據截止到 2023 年 6 月。

訓練數據方面，英偉達采用了高達 9 萬億個 token。其中，8 萬億用于預訓練，1 萬億用于繼續訓練以提高質量。

值得一提的是，指令模型的訓練是在 98% 的合成數據上完成的。

結果顯示，Nemotron-4-340B-Base 在常識推理任務，如 ARC-Challenge、MMLU 和 BigBench Hard 基準測試中，可以和 Llama-3 70B、Mixtral 8x22B 和 Qwen-2 72B 模型媲美。

而 Nemotron-4-340B-Instruct，在指令跟隨和聊天能力方面也超越了相應的指令模型。

Nemotron-4-340B-Reward 在發表時，在 RewardBench 上實現了最高準確性，甚至超過了 GPT-4o-0513 和 Gemini 1.5 Pro-0514 這樣的專有模型。

在 BF16 精度下，模型的推理需要 8 塊 H200，或 16 塊 H100 / A100 80GB。如果是在 FP8 精度下，則只需 8 塊 H100。

除此之外，Nemotron-4 340B 還有一個非常顯著的特點 —— 對商用十分友好的許可。

高級深度學習研究工程師 Somshubra Majumdar 對此表示大贊：「是的，你可以用它生成你想要的所有數據」

無與倫比的合成數據生成

LLM 無法獲得大規模、多樣化標注數據集，怎么破？

Nemotron-4 340B 指令模型，可以幫助開發者生成合成訓練數據。

這些多樣化的合成數據，模仿了真實世界的數據特征，因而數據質量明顯提升，從而提升了各領域定制 LLM 的性能和穩定性。

而且，為了進一步提高 AI 生成數據的質量，開發者還可以用 Nemotron-4 340B 獎勵模型，來篩選高質量的響應。

它會根據有用性、正確性、一致性、復雜性和冗長性這 5 個屬性，對響應評分。

另外，研究者可以使用自己的專用數據，再結合 HelpSteer2 數據集，定制 Nemotron-4 340B 基礎模型，以創建自己的指令或獎勵模型。