Согласно сообщениям, исследователи NVIDIA и MIT выпустили Lightning OPD (Offline On-Policy Distillation) — новую посттренировочную методику для больших языковых моделей, которая устраняет необходимость держать учительскую модель в работе во время обучения. Путём предварительного вычисления лог-вероятностей учительской модели офлайн эта схема повышает эффективность обучения в 4 раза, одновременно освобождая все ресурсы GPU для обучения студентской модели.
При тестировании на 8 GPU NVIDIA H100 Lightning OPD успешно дистиллировала Qwen3-30B-A3B-Base (MoE-модель с 30 миллиардами параметров) и получила 71,0 на бенчмарке AIME 2024, тогда как стандартная OPD на том же оборудовании упиралась в нехватку памяти. Для более компактной модели Qwen3-8B методике потребовалось всего 30 GPU-часов, чтобы достичь 69,9 балла.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
Платформа B.AI добавила 8 756 пользователей 11 мая, DeepSeek-V4 обеспечивает 60% потребления токенов
По данным B.AI, платформа добавила 8 756 новых пользователей 11 мая, при этом доля пользователей из числа основных платящих, которые используют платежи Stripe, достигла 69,0%, что отражает улучшение удержания традиционных разработчиков и пользователей уровня производства. Серия моделей DeepSeek-V4 обеспечила почти 60% объёма потребления токенов, задействуя сверхнизкую задержку, высокую конкурентность и возможности по пропускной способности, чтобы выступать в качестве ключевого вычислительного дв
GateNews13м назад
На этой неделе ожидается шквал ключевых макро-катализаторов: от публикации CPI до всестороннего разбора рассмотрения закона CLARITY
В середине мая 2026 года криптовалютный рынок переживает крайне редкое окно макрочувствительности. Данные по CPI США за апрель будут опубликованы 12 мая, саммит Трамп—Си в Пекине запланирован на 13–15 мая, а сенатский банковский комитет рассмотрит законопроект CLARITY (Закон о регулировании рынков цифровых активов) 14 мая. Три независимых, но тесно связанных события за каких-то четыре дня концентрируются, образуя поэтапный стресс-тест для механизма ценообразования криптоактивов. Ежедневный кален
GateInstantTrends36м назад
AI-стартап для голосовых ассистентов Vapi завершил $50M раунд серии B, возглавляемый Peak XV Partners
По данным TechCrunch, Vapi, стартап в сфере AI-голосов, завершил раунд Series B на 50 миллионов долларов, возглавленный Peak XV Partners, с постинвестиционной оценкой примерно в 500 миллионов долларов. Ring, дочерняя компания Amazon, внедрила Vapi для обработки 100% входящих звонков после оценки более 40 поставщиков AI-голоса, что помогло провести раунд финансирования.
GateNews1ч назад
Точность GPT-5.4 падает с 100% до 54% на ARC-AGI после многократного суммирования памяти
Исследование памяти агента от Beating, проведённое Диланом Чжаном, аспирантом Университета Иллинойса, показало, что многократное резюмирование опыта модели может ухудшать производительность, а не улучшать её. В задачах ARC-AGI GPT-5.4 достиг 100% точности на 19 проблемах без памяти, но после нескольких раундов компрессии памяти на основе правильных траекторий решения точность упала до 54%. Аналогично, в задачах покупок WebShop метод AWM показал результат 0,64 с 8 экспертными траекториями, но сни
GateNews1ч назад
OpenAI расширяет программу доверенного доступа для десятков европейских предприятий 12 мая
12 мая, по сообщениям, OpenAI объявила о планах расширить свою Программу доверенного доступа на десятки европейских предприятий.
GateNews1ч назад
Живой «Трансформеры»! Uxu Technology представила первого в мире серийного робота-носителя, цена — 570 тыс. долларов
Компания по производству роботов из Ханчжоу Unitree Robotics (Unitree Robotics) 12 мая представила свой новый продукт GD01 — пилотируемый мех, который может свободно переключаться между режимами двуногого человекоподобного хождения и четвероногого лазания. Можно сказать, что это перенесло на реальность кинематографические кадры из научно‑фантастических блокбастеров «Трансформеры» и «Тихоокеанский рубеж». На этот раз релиз — это не только технологическое зрелище, но и наглядное отражение того, ка
ChainNewsAbmedia2ч назад
