Команда Meituan Longcat с открытым исходным кодом LongCat-Next — это многомодальная модель на основе архитектуры MoE, которая интегрирует пять способностей: понимание текста, визуальное понимание, генерацию изображений и речь. Её основной дизайн DiNA реализует унифицированную обработку задач через дискретные токены, а в области визуализации используется dNaViT, что обеспечивает отличную производительность при генерации изображений. По сравнению с аналогичными моделями LongCat-Next демонстрирует лучшие результаты по всем показателям, подчёркивая её преимущества в области многомодального понимания и генерации.

Cursor опубликовал технический отчет Composer 2, в котором представлена полная схема обучения его архитектуры Kimi K2.5 MoE, включая двухэтапное обучение и собственный эталон CursorBench. После обучения производительность Composer 2 значительно улучшилась и превосходит другие передовые модели по затратам на логические вычисления.

Cursor опубликовал технический отчет Composer 2 25 марта, раскрыв схему обучения модели Kimi K2.5, которая использует архитектуру MoE с количеством параметров в 1,04 триллиона. Обучение состояло из двух этапов, использовало укрепляющее обучение с симуляцией реальных сценариев и в конечном итоге достигло 61,3 баллов на эталонном тесте CursorBench с улучшением на 70%, при этом стоимость вывода ниже, чем у других API больших языковых моделей.

Команда Meituan LongCat открыла исходный код LongCat-Flash-Prover 21 марта — модель MoE с 560 миллиардами параметров, ориентированная на формализованное доказательство теорем в Lean4. Модель разделена на три функции: автоматическая формализация, генерация эскизов и генерация полных доказательств, в сочетании с инструментами вывода и компилятором Lean4 для достижения проверки в реальном времени. Обучение использовало гибридную структуру итерации экспертов (Hybrid-Experts Iteration Framework) и алгоритм HisPO для предотвращения манипуляций с вознаграждениями. Тесты производительности показали, что модель обновила рекорды открытых взвешенных моделей в автоматической формализации и доказательстве теорем.

Mistral AI выпустила открытый кодовый агент Leanstral, специально разработанный для формальной верификации Lean 4, способный генерировать код и доказательства, которые могут быть автоматически проверены. Модель использует разреженную архитектуру MoE, показывает лучшие результаты по сравнению с другими топовыми моделями и предлагает бесплатную загрузку и вызовы API.