ME News сообщает, что 23 апреля (UTC+8), по данным мониторинга Beating, компания Augment Code, занимающаяся инструментами AI-программирования, извлекла десятки файлов AGENTS.md из своего monorepo и с помощью внутреннего оценочного набора AuggieBench измерила их фактическое влияние на результаты работы кодирующего агента. Метод заключается в том, чтобы взять уже объединенные высококачественные PR в качестве эталона, заставить агента выполнить ту же задачу в условиях наличия и отсутствия AGENTS.md и сравнить оценки. Разрыв оказался гораздо больше ожидаемого. Наиболее качественные AGENTS.md повышали качество так же, как замена модели с Haiku на Opus, а худшие были хуже, чем полное их отсутствие. Более того, один и тот же файл мог оказывать противоположное влияние на разные задачи: он повысил соответствие стандартам при исправлении ошибки на 25%, но снизил завершенность сложной функции в том же модуле на 30%. Эффективные практики написания: основной файл объемом от 100 до 150 строк, несколько фокусных справочных документов, в среднем модуле из сотни ключевых файлов это дает общее повышение на 10–15%. Лучше всего работают нумерованные шаги: шестишаговый процесс развертывания сократил количество PR с пропущенными файлами с 40% до 10%, точность выросла на 25%. Использование таблиц решений помогает агенту выбрать правильный подход перед началом работы, соответствие стандартам также выросло на 25%. Запреты необходимо сопровождать альтернативами, простое «не делай» заставляет агента колебаться, а более 15 последовательных предупреждений заметно ухудшают результат. Самая частая причина провала — слишком много документации. Когда агент погружается в большое количество архитектурных документов, загружая сотни тысяч токенов, результат ухудшается. В одном модуле было накоплено 226 документов объемом более 2 МБ, и AGENTS.md помогали незначительно. Кроме того, AGENTS.md — единственное место, которое агент читает на 100%, а документы в папке _docs/, на которые нет ссылок, обнаруживаются менее чем в 10% случаев. (Источник: BlockBeats)

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
SKHynixTopsKOSPIByMarketCap
1,55M Популярность
#
MicronEarningsBeatExpectationsSharesRise
212,78K Популярность
#
IsraelStrikesIranBTCPlunges
63,83K Популярность
#
WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷
340,89K Популярность
#
USMayPCEInflationRisesTo4.1%HighestIn3Years
557,86K Популярность

Закреплено

Карта сайта

Практический тест Augment Code: влияние AGENTS.md на генерацию кода — лучший результат эквивалентен повышению уровня модели, худший — хуже, чем отсутствие файла.

Популярные темы

SKHynixTopsKOSPIByMarketCap

MicronEarningsBeatExpectationsSharesRise

IsraelStrikesIranBTCPlunges

WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷

USMayPCEInflationRisesTo4.1%HighestIn3Years

Закреплено