MiniMax publica en código abierto el modelo MiniMax M3 con 428 mil millones de parámetros y un contexto de 1M tokens

Beating afirma que MiniMax ha publicado en código abierto el modelo nativo multimodal de mixture-of-experts (MoE) MiniMax M3 y sus pesos en Hugging Face. El modelo tiene 428 mil millones de parámetros totales, con 23 mil millones de parámetros activados por token, y admite hasta 1 millón de tokens de contexto de forma nativa. El equipo de desarrollo lanzó una versión cuantizada MXFP8 e integró soporte para marcos de inferencia de uso general, incluidos SGLang, vLLM y Transformers. MiniMax también publicó en código abierto la biblioteca del kernel liviano MiniMax Sparse Attention (MSA), logrando 9x más rapidez en el prellenado y 15x más rapidez en la decodificación en un contexto de 1 millón de tokens con la optimización de la arquitectura NVIDIA Blackwell.
Aviso legal: La información en esta página puede provenir de fuentes de terceros y es solo para referencia. No representa las opiniones ni puntos de vista de Gate y no constituye asesoramiento financiero, de inversión ni legal. El comercio de activos virtuales implica un alto riesgo. No te bases únicamente en la información presentada en esta página para tomar decisiones. Para más detalles, consulta el Aviso legal.
Comentar
0/400
Sin comentarios