Blackwell向けのMiniMaxオープンソース・スパース注意ライブラリ、M3の重みは今週金曜日に登場

Ryan Lee(MiniMaxの開発者向け広報責任者)によると、同社はMITライセンスのもとで、NVIDIA Blackwell(SM100)GPU向けの高性能アテンションライブラリ「MiniMax Sparse Attention(MSA)」をオープンソース化したとのことです。Leeは、M3モデルの重みが6月13日(金曜日)にリリースされると発表しました。

MiniMax-M3の「100万トークン」コンテキスト推論に適用すると、MSAは同等の設定においてDense GQAと比べてアテンション計算を28.4倍削減します。H800 GPUでは、このライブラリによりプリフィル速度が14.2倍向上し、デコードも7.6倍加速されました。

免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし