MiniMax disponibiliza em open-source o modelo MiniMax M3 com 428 mil milhões de parâmetros e contexto de 1M token

De acordo com Beating, a MiniMax disponibilizou em código aberto um modelo multimodal nativo do tipo mixture-of-experts (MoE), MiniMax M3, com pesos na Hugging Face. O modelo tem 428 mil milhões de parâmetros no total, com 23 mil milhões de parâmetros ativados por token, suportando até 1 milhão de tokens de contexto nativamente. A equipa de desenvolvimento lançou também uma versão quantizada em MXFP8 e integrou suporte para frameworks de inferência de uso corrente, incluindo SGLang, vLLM e Transformers. A MiniMax também disponibilizou em código aberto a biblioteca de kernel leve do MiniMax Sparse Attention (MSA), alcançando 9x mais rapidez no pré-preenchimento e 15x mais rapidez na descodificação em contexto de 1 milhão de tokens, com otimização da arquitetura NVIDIA Blackwell.
Aviso legal: As informações contidas nesta página podem provir de fontes externas e têm caráter meramente informativo. Não refletem os pontos de vista nem as opiniões da Gate e não constituem qualquer tipo de aconselhamento financeiro, de investimento ou jurídico. A negociação de ativos virtuais envolve um risco elevado. Não se baseie exclusivamente nas informações contidas nesta página ao tomar decisões. Para mais detalhes, consulte o Aviso legal.
Comentar
0/400
Nenhum comentário