4月12日消息，科技媒體 marktechpost 昨日（4月11日）發布博文，報道稱英偉達發布Llama-3.1-Nemotron-Ultra-253B-v1，這款2530億參數的大型語言模型在推理能力、架構效率和生產準備度上實現重大突破。

隨著AI在數字基礎設施中的普及，企業與開發者需在計算成本、性能與擴展性間尋找平衡。大型語言模型（LLM）的快速發展提升了自然語言理解和對話能力，但其龐大規模常導致效率低下，限制大規模部署。

英偉達最新發布的Llama-3.1-Nemotron-Ultra-253B-v1（簡稱Nemotron Ultra）直面這一挑戰，該模型基于Meta的Llama-3.1-405B-Instruct架構，專為商業和企業需求設計，支持從工具使用到多輪復雜指令執行等任務。

IT之家援引博文介紹，Nemotron Ultra采用僅解碼器的密集Transformer結構，通過神經架構搜索（NAS）算法優化，其創新之處在于采用跳躍注意力機制，在部分層中省略注意力模塊或替換為簡單線性層。

此外，前饋網絡（FFN）融合技術將多層FFN合并為更寬但更少的層，大幅縮短推理時間，同時保持性能。模型支持128K token的上下文窗口，可處理長篇文本，適合高級RAG系統和多文檔分析。

在部署效率上，Nemotron Ultra 也實現突破。它能在單8xH100節點上運行推理，顯著降低數據中心成本，提升企業開發者的可及性。

英偉達通過多階段后訓練進一步優化模型，包括在代碼生成、數學、對話和工具調用等任務上的監督微調，以及使用群體相對策略優化（GRPO）算法進行強化學習（RL）。這些步驟確保模型在基準測試中表現出色，并與人類交互偏好高度契合。

【來源：IT之家】