MiniMaxは、4,280億パラメータと1Mトークンのコンテキストを備えたMiniMax M3モデルをオープンソースで公開します

Beatingによると、MiniMaxはネイティブなマルチモーダルの混合専門家(MoE)モデルであるMiniMax M3の重みをHugging Faceでオープンソース化した。このモデルは総パラメータ4280億、トークンごとに230億パラメータをアクティブ化し、ネイティブで最大100万トークンのコンテキストに対応している。開発チームはMXFP8で量子化したバージョンを公開し、SGLang、vLLM、Transformersを含む主要な推論フレームワークへの対応を統合した。さらにMiniMaxは軽量なMiniMax Sparse Attention(MSA)カーネルライブラリもオープンソース化しており、NVIDIA Blackwellアーキテクチャの最適化により、100万トークンのコンテキストでプリフィルが9倍速、デコードが15倍速を実現した。
免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし