上海稀宇科技有限公司(MiniMax)近日在X平臺發布重磅消息,宣布即將推出全新一代MiniMax M3系列模型。這一消息引發了人工智能領域的廣泛關注,尤其是其前代M2.x系列模型在技術架構和訓練系統上的創新突破,為新模型的發布奠定了堅實基礎。
根據5月26日發表于arXiv平臺的論文《The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence》披露,M2.x系列模型采用獨特的"低激活、高智能"設計理念,總參數規模達2299億,但每個詞元僅激活98億參數。這種架構在保證模型性能的同時,顯著提升了計算效率。該系列配備19.2萬詞元的超長上下文窗口,預訓練數據量高達29.2萬億詞元,為復雜任務處理提供了強大支撐。
在模型結構方面,M2系列采用62層解碼器式Transformer架構,創新性地引入256個細粒度專家模塊。每個詞元處理過程中會動態激活8個專家模塊,這種混合專家(MoE)設計使模型能夠更精準地分配計算資源。論文特別指出,這種架構在保持模型規模可控的前提下,實現了參數利用率的指數級提升。
訓練系統層面的突破同樣引人注目。MiniMax研發的Forge強化學習系統實現了白盒與黑盒智能體的統一接入,通過訓練、推理與智能體的解耦設計,配合窗口化FIFO調度算法和前綴樹合并技術,將長軌跡訓練成本降低了30%以上。該系統還集成了推理加速模塊,進一步優化了模型運行效率。
M2.7版本最令人矚目的創新是實現了"自我進化"的初步能力。實驗數據顯示,該模型已具備自主排查訓練故障、分析日志文件、修改腳手架代碼的能力,并在內部任務中完成了100輪自主迭代。這種自我優化機制使模型能夠參與自身開發閉環,據團隊統計,該系統已承擔30%-50%的日常迭代工作量,并在編程腳手架優化中帶來30%的性能提升。
技術專家分析指出,MiniMax M2系列的技術突破標志著大模型發展進入新階段。其創新的參數激活機制、混合專家架構和自主進化能力,為解決模型規模與效率的矛盾提供了全新思路。隨著M3系列的即將發布,業界普遍期待看到更多技術細節和實際應用場景的落地。















