Корпоративная Америка внедряет модельный роутинг, чтобы контролировать расходы на ИИ

Корпоративная Америка внедряет модельный роутинг, чтобы контролировать расходы на искусственный интеллект: CFO и советы директоров усиливают давление из‑за неэффективных трат на ИИ. Изменение связано с проблемой, которая возникла после двух лет, когда по умолчанию для всех запросов, независимо от сложности, использовались самые мощные модели ИИ. Счета за ИИ теперь заметно опережают бюджеты — компании задаются вопросом, действительно ли каждая задача требует моделей уровня frontier. Модельный роутинг сопоставляет работу с подходящими моделями: сложные проблемы направляются в дорогие frontier‑системы, а рутинные задачи — в более дешевые альтернативы. Этот сдвиг может изменить ценовую динамику в индустрии ИИ.

Модельный роутинг сопоставляет задачи с ИИ‑системами, которые соответствуют затратам

Модельный роутинг — это инструмент, который отправляет сложные задачи в дорогие frontier‑модели, а простые — в более дешевые и быстрые альтернативы. Скотт Ву, CEO Cognition, которая создает кодирующего агента Devin, заявил, что компании могут добиться пятикратной–десятикратной лучшей эффективности по затратам на рутинных работах, используя модели, которые по‑прежнему достаточно хорошо подходят под задачу. Ву привел пример: попросить модель назвать третьего президента США — любая модель, независимо от стоимости, ответит Томас Джефферсон.

Арвинд Джейн, CEO Glean, оценил, что примерно 95% корпоративного использования ИИ сейчас приходится на самые дорогие frontier‑модели, даже для задач, которые более дешевые альтернативы могли бы легко выполнять. Большинство компаний, по словам руководителей, не используют роутинг вообще.

Cisco сообщает о $900 млн годовых затрат на ИИ для 90 000 сотрудников

Джиту Патель, chief product officer в Cisco, привел конкретные цифры по стоимости. Приблизительно $200 затрат на токены на сотрудника в неделю ежегодные расходы достигают около $10 000 на человека. Для 90 000 сотрудников Cisco это в сумме составляет $900 млн в год.

Патель сказал, что Cisco вышла далеко за рамки собственного бюджета и теперь вынуждена корректироваться. В компании 30 000 инженеров, которые создают продукты, написанные в основном с использованием ИИ. Cisco перераспределила ресурсы, сделав приоритет токенам по сравнению с другими расходами.

Cognition вводит гарантию продуктивности ИИ на $10 млн

Cognition объявила гарантию продуктивности ИИ в ответ на опасения клиентов по поводу окупаемости инвестиций. Если Devin даст меньше инженерной ценности, чем клиент платит, Cognition профинансирует использование на сумму до $10 млн, пока производительность не будет соответствовать ожиданиям. Ву обозначил эту гарантию как способ сфокусироваться на результате, а не на метриках вроде токенов, потребленных, или строк кода.

Сдвиг в сторону модельного роутинга создает давление на OpenAI и Anthropic, чьи бизнес‑модели и ожидания от IPO предполагают огромный спрос по премиальным ценам. Если компании направят высокочастотную рутинную работу в более дешевые open‑source модели, то frontier‑лаборатории будут получать оплату только за сложные задачи. Патель заявил, что передовые технологии останутся ценными, но предположил, что ценовая модель изменится: лабораториям придется повышать эффективность, а не просто брать больше.

FAQ

Что такое модельный роутинг в системах ИИ?

Модельный роутинг — это инструмент, который сопоставляет задачи подходящим моделям ИИ в зависимости от сложности. Он отправляет сложные проблемы в дорогие frontier‑модели и направляет рутинные задачи в более дешевые и быстрые альтернативы. Скотт Ву из Cognition заявил, что компании могут добиться пятикратной–десятикратной лучшей эффективности по затратам на рутинной работе, используя этот подход.

Сколько Cisco тратит ежегодно на ИИ для своей рабочей силы?

Cisco тратит примерно $900 млн в год на ИИ для своих 90 000 сотрудников. Джиту Патель, chief product officer Cisco, рассчитал эту цифру, исходя из примерно $200 затрат на токены на сотрудника в неделю, что соответствует примерно $10 000 на человека в год.