Отчёт Anthropic: вероятность победы в решениях ИИ выросла до 64%, оптимизация кода в 52 раза

Anthropic 4 июня опубликовала отчёт, в котором раскрыла результаты тестирования своей модели Mythos Preview при поддержке решений в AI-исследованиях: в 64% случаев она принимала решения лучше, чем человеческие исследователи, тогда как в аналогичных тестах в 2024 году её победная доля составляла лишь 22%. В стандартных тестах по оптимизации тренировочного кода для небольших моделей ИИ Mythos Preview достигла 52-кратного ускорения.

Методика и данные тестов для исследовательских решений

Опубликованная Anthropic схема тестов: команда показывала Claude записи диалогов о том, какие человеческие исследователи собираются сделать ошибочный выбор направления исследования, и спрашивала у ИИ: «Что дальше следует сделать». Mythos Preview в 64% случаев давала ответы, превосходящие ответы человеческих исследователей; в 2024 году победная доля в аналогичных тестах составляла 22%.

В отчёте Anthropic говорится, что этот результат «намекает на то, что ИИ уже начал обладать способностью направлять исследования высокого уровня», но при этом отмечается, что пока невозможно определить, есть ли у Claude глобальная способность к самостоятельному выбору «правильных исследовательских вопросов».

Данные об эффективности кода в отчёте Anthropic

Показатели эффективности кода у Anthropic:

Объём квартальной сдачи кода внутренними инженерами: в 8 раз выше среднего уровня за 2021–2025 годы

Успешность задач с открытым исходным кодом: за 6 месяцев выросла на 50 процентных пунктов, достигнув 76%

Скорость оптимизации тренировочного кода: Mythos Preview обеспечила 52-кратное ускорение

Сравнительный ориентир: Claude Opus 4 (май 2024) — в среднем около 3 раз; опытные инженеры обычно тратят 4–8 часов, чтобы реализовать примерно 4-кратное улучшение

В отчёте Anthropic отмечается, что некоторые внутренние инженеры считают качество кода Claude уже близким к человеческому уровню.

Research Division у Anthropic: подтверждена работа, потенциальное влияние на RSI

Anthropic объявила, что будет сотрудничать с внешними заинтересованными сторонами для создания «Anthropic Research Institute (Anthropic Institute)», ориентированного на изучение глубокого влияния мощных AI-систем.

В отчёте Anthropic говорится, что ускорение развития ИИ может дать положительный эффект для медицины, технологий и экономики, но также способно обострить проблему согласования (Alignment) и привести к риску «потери контроля (Loss of control)»; Anthropic называет это влияние «заслуживающим повышенного внимания».

Частые вопросы

Какова конкретная схема теста победной доли Mythos Preview в решениях?

Anthropic показывает Claude записи диалогов, в которых исследователь вот-вот пойдёт по неверному направлению исследования, и спрашивает: «Что дальше следует сделать», тестируя исследовательское мышление ИИ. Mythos Preview в 64% случаев даёт ответы лучше, чем у человеческих исследователей; по сравнению с 22% победной долей в аналогичных тестах в 2024 году за два года произошёл взрывной рост.

Что такое «рекурсивное самоулучшение (RSI)», упомянутое в отчёте Anthropic?

Рекурсивное самоулучшение (Recursive Self-Improvement) — это способность AI-системы самостоятельно разработать следующее поколение AI, которое окажется сильнее самой системы. В отчёте Anthropic от 4 июня 2026 года сказано, что этот процесс продвигается «сверх ожидаемой скорости», и одновременно признано, что пока нельзя точно определить, обладает ли Claude глобальной способностью самостоятельно выбирать «правильные исследовательские вопросы».

Каково позиционирование и цели Anthropic Research Institute?

Anthropic объявила, что создаст Anthropic Research Institute совместно с внешними заинтересованными сторонами и будет специально изучать глубокое влияние мощных AI-систем. Anthropic заявляет, что цель создания — обеспечить, чтобы люди могли сделать взвешенный выбор для будущего AI-технологий; конкретные направления исследований и сроки пока не раскрыты полностью.