Согласно техническому блогу MiniMax, компания обнаружила существенную деградацию токенов в моделях серии M2 после полного сканирования словаря. Примерно 4,9% из 200 000 токенов показали заметное падение производительности; сильнее всего пострадали японские токены — 29,7% по сравнению с корейскими (3,3%), русскими (3,7%), китайскими (3,9%) и английскими (3,5%). Деградация связана с тем, что токены низкой частоты во время постобучения принудительно смещаются в неверные направления в векторном пространстве; при этом маркеры высокочастотных токенов, например tool_call, постоянно обновляют параметры вокруг.
MiniMax внедрила исправление с использованием синтетических данных через простые задачи на повторение токенов, чтобы стабилизировать весь словарь. Результаты были мгновенными: доля русских символов, смешивающихся в японские ответы, снизилась с 47% до 1%, а стабильность векторов (косинусное сходство) улучшилась с минимума 0,329 до значения выше 0,97 для всех токенов.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
Живой «Трансформеры»! Uxu Technology представила первого в мире серийного робота-носителя, цена — 570 тыс. долларов
Компания по производству роботов из Ханчжоу Unitree Robotics (Unitree Robotics) 12 мая представила свой новый продукт GD01 — пилотируемый мех, который может свободно переключаться между режимами двуногого человекоподобного хождения и четвероногого лазания. Можно сказать, что это перенесло на реальность кинематографические кадры из научно‑фантастических блокбастеров «Трансформеры» и «Тихоокеанский рубеж». На этот раз релиз — это не только технологическое зрелище, но и наглядное отражение того, ка
ChainNewsAbmedia56м назад
Thinking Machines Model Ties GPT-Realtime-2 за первое место в аудиобенчмарке сегодня, набрав 43,4% APR Score
Согласно последнему бенчмарку Audio MC S2S от Scale Labs, опубликованному сегодня, модель Thinking Machines TML-Interaction-Small набрала 43,36 балла, разделив первое место с моделью OpenAI GPT-Realtime-2 (xHigh) — 43,4% по шкале APR. Абсолютный лидер по результатам, GPT-Realtime-2 (xHigh), набрал 48,45 балла, тогда как TML-Interaction-Small следовала за ним с 43,36 балла; разница попала в пределы статистической погрешности, поэтому официально было объявлено равенство за первое место.
GateNews1ч назад
Артур Хейс предсказывает, что BTC вернётся к $126 000 на фоне гонки ИИ вооружений между США и Китаем и «военной» инфляции
Как сообщает Odaily, Артур Хейс опубликовал статью под названием «The Butterfly Touch» 12 мая, в которой спрогнозировал, что биткоин вернется к $126 000 в результате конкуренции США и Китая в сфере ИИ-капитальных затрат, а также инфляции, подпитываемой войной. Хейс заявил, что криптовый рынок быков официально стартовал после военного удара США по Ирану 28 февраля 2026 года, при этом биткоин уже сформировал базу около $60 000. Он ожидает ускорения роста после пробоя $90 000. Хейс назвал три факто
GateNews1ч назад
HrdWyr привлекает $13M раунд серии A для разработки AI Chip Development
Базирующаяся в Бангалоре fabless-стартап по производству чипов HrdWyr привлёк 13 миллионов долларов в рамках раунда Series A, который возглавила бангладорская венчурная компания Ideaspring Capital, 12 мая. В раунде также участвовали Singularity AMC, Avatar Growth Capital и Persistent Systems. Компания планирует использовать привлечённые средства для разработки своих AI-native продуктов system-on-chip и расширения взаимодействия с клиентами на глобальных рынках, с фокусом на приложения для edge c
CryptoFrontier1ч назад
Рост AI-вакансий в Индии на 15–20%, заявил министр на саммите CII
Министр Союза по электронике и ИТ Индии Ашвини Ваишнау объявил, что число рабочих мест, связанных с ИИ, растёт на 15%–20% — по отзывам ИТ-индустрии — во время выступления на CII Annual Business Summit. Он призвал компании сотрудничать с Nasscom, чтобы обучать работников новым технологиям, поскольку ИТ-сектор проходит трансформацию. Министр также отметил крупные инвестиционные обязательства и планы расширения инфраструктуры, направленные на то, чтобы позиционировать Индию как глобальный хаб ИИ и
CryptoFrontier1ч назад
Проект OpenAI, по прогнозам, позволит сэкономить Microsoft $97 миллиардов на платежах к 2030 году по новому соглашению
По данным The Information, OpenAI, как ожидается, сможет сэкономить примерно 97 миллиардов долларов на платежах в Microsoft к 2030 году по пересмотренному соглашению о партнёрстве, согласованному в октябре прошлого года. Финансовый директор Сара Фрайар сообщила инвесторам, что компания планирует делиться 8-10% выручки со всеми коммерческими партнёрами, включая Microsoft, вместо текущих 20%.
GateNews1ч назад
