MiniMax открывает исходный код модели MiniMax M3 с 428 миллиардами параметров и контекстом в 1 млн токенов

Согласно Beating, MiniMax опубликовала в открытый доступ нативную мультимодальную модель смеси экспертов (MoE) MiniMax M3 и её веса на Hugging Face. Модель имеет 428 миллиардов суммарных параметров, из которых на токен активируются 23 миллиарда, и поддерживает до 1 миллиона токенов контекста нативно. Команда разработчиков выпустила квантованную версию MXFP8 и добавила поддержку популярных фреймворков для инференса, включая SGLang, vLLM и Transformers. Также MiniMax открыла в исходном коде лёгкую библиотеку ядра MiniMax Sparse Attention (MSA), добившись 9-кратного ускорения предварительного заполнения и 15-кратного ускорения декодирования для контекста в 1 миллион токенов благодаря оптимизациям архитектуры NVIDIA Blackwell.
Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.
комментарий
0/400
Нет комментариев