Компании внедряют маршрутизаторы на базе ИИ-моделей из-за роста затрат на агентов
Компании всё активнее внедряют маршрутизаторы моделей искусственного интеллекта — программное обеспечение, которое подбирает ИИ-модель для конкретной задачи с учётом стоимости, скорости и качества работы. Причиной стали затраты на автономных ИИ-агентов, в частности инструменты для программирования Claude Code и Codex, которые могут работать часами и использовать миллионы токенов, сообщает Fortune.
В отличие от обычного чат-бота, автономный агент может многократно обращаться к мощным моделям во время выполнения длительной задачи. Это способно существенно увеличить расходы на инференс — генерацию ответов моделью. Согласно исследованию, на которое ссылается издание, 62% организаций заявили, что непредвиденные расходы на ИИ за последний год существенно повлияли на бизнес-решения. В 40% таких случаев вопрос пришлось выносить на уровень совета директоров, 33% компаний ввели экстренное замораживание расходов, а 25% отложили или отменили ИИ-инициативу.
Маршрутизаторы позволяют не отправлять каждый запрос в самую дорогую передовую модель. Компании могут самостоятельно устанавливать правила выбора или поручать системе автоматически определять оптимальную модель на каждом этапе работы агента. Представители отрасли утверждают, что такой подход может сократить расходы на инференс на двузначные проценты, а в отдельных случаях — до 30%.
Больше актуальных новостей читайте в Telegram-канале UA.News.
На этом рынке работают OpenRouter, Not Diamond и LiteLLM. OpenRouter предлагает единый доступ к сотням ИИ-моделей, Not Diamond автоматически направляет запросы к модели, которая, по её мнению, лучше всего подходит для конкретной задачи, а LiteLLM помогает предприятиям создавать собственную инфраструктуру маршрутизации. Salesforce и Databricks также интегрируют такие функции в свои ИИ-платформы. По данным Fortune, над собственными маршрутизаторами работают Cursor, Ramp и Meta, а Runway уже запустила такой продукт.
Генеральный директор Not Diamond Томас Эрнандо Кофман отметил, что использование самой мощной модели для всех задач может быть расточительным. В то же время неправильно выбранная модель меньшего размера также способна увеличить расходы, если ей требуется больше времени для выполнения работы. Система маршрутизации может учитывать сложность запроса, историю диалога и другие сигналы, чтобы подобрать модель и уровень рассуждений для следующего шага агента.
Президент и главный архитектор Salesforce Дэвид Уорд считает, что в будущем маршрутизация будет охватывать не только контроль затрат. Речь идет также о доверии, соответствии требованиям, управлении доступом к корпоративным данным и измеримых бизнес-результатах. В то же время соучредитель и операционный директор OpenRouter Крис Кларк подчеркнул, что построение промышленной платформы маршрутизации требует партнерства с поставщиками моделей, постоянного мониторинга их работы и реагирования на сбои и изменения спецификаций.
