MiniMax 開源 MiniMax M3 模型,包含 4280 億參數與 1M token 上下文

根據 Beating,MiniMax 已在 Hugging Face 開源原生多模態「混合專家」(MoE)模型 MiniMax M3 的權重。該模型總共有 4280 億(428 billion)個參數,每個 token 啟用 230 億(23 billion)個參數,能原生支援最多 100 萬 token 的上下文。開發團隊釋出了 MXFP8 量化版本,並整合對主流推論框架的支援,包括 SGLang、vLLM 和 Transformers。MiniMax 也開源了輕量化的 MiniMax 稀疏注意力(MSA)核心程式庫,在搭配 NVIDIA Blackwell 架構最佳化的 100 萬 token 上下文下,預填充速度提升 9 倍、解碼速度提升 15 倍。
免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆