В будущем разработке ИИ, по словам партнёра Y Combinator Дианы Ху в X, ключ заключается в создании тонких программных слоёв поверх базовых моделей, которые позволяют ИИ-системам автономно писать и дорабатывать код, а не просто расширять параметры моделей. Такой подход даёт возможность ИИ тестировать, изменять и упрощать код на основе результатов выполнения без необходимости дорогостоящего дообучения самой базовой модели.
Взгляд Ху перекликается с недавними исследованиями Вен Цзяюэ, ключевого участника команды OpenAI по постобучению, который показал, что большие модели могут осваивать задачи, создавая код на Python и проводя отладку, не меняя при этом ни одного параметра модели — это подтверждается успешным обучением на данных о производительности в Atari.