Компанії впроваджують маршрутизатори ШІ-моделей через зростання витрат агентів
Компанії дедалі активніше впроваджують маршрутизатори моделей штучного інтелекту — програмне забезпечення, яке добирає ШІ-модель для конкретного завдання з огляду на ціну, швидкість і якість роботи. Причиною стали витрати на автономних ШІ-агентів, зокрема інструменти для програмування Claude Code та Codex, які можуть працювати годинами й використовувати мільйони токенів, повідомляє Fortune.
На відміну від звичайного чат-бота, автономний агент може багаторазово звертатися до потужних моделей під час виконання тривалого завдання. Це здатне суттєво збільшити рахунки за інференс — генерацію відповідей моделлю. Згідно з дослідженням, на яке посилається видання, 62% організацій заявили, що несподівані витрати на ШІ за останній рік істотно вплинули на бізнес-рішення. У 40% таких випадків питання довелося виносити на рівень ради директорів, 33% компаній запровадили екстрене заморожування витрат, а 25% відклали або скасували ШІ-ініціативу.
Маршрутизатори дають змогу не надсилати кожен запит до найдорожчої передової моделі. Компанії можуть самостійно встановлювати правила вибору або доручати системі автоматично визначати оптимальну модель на кожному етапі роботи агента. Представники галузі стверджують, що такий підхід може зменшувати витрати на інференс на двозначні відсотки, а в окремих випадках — до 30%.
Більше актуальних новин читайте у Telegram-каналі UA.News.
На цьому ринку працюють OpenRouter, Not Diamond і LiteLLM. OpenRouter пропонує єдиний доступ до сотень ШІ-моделей, Not Diamond автоматично скеровує запити до моделі, яка, на її думку, найкраще відповідає конкретному завданню, а LiteLLM допомагає підприємствам створювати власну інфраструктуру маршрутизації. Salesforce і Databricks також інтегрують такі функції у свої ШІ-платформи. За даними Fortune, над власними маршрутизаторами працюють Cursor, Ramp і Meta, а Runway уже запустила такий продукт.
Генеральний директор Not Diamond Томас Ернандо Кофман зазначив, що використання найпотужнішої моделі для всіх завдань може бути марнотратним. Водночас неправильно обрана менша модель також здатна підвищити витрати, якщо їй потрібно більше часу для виконання роботи. Система маршрутизації може враховувати складність запиту, історію діалогу та інші сигнали, щоб підібрати модель і рівень міркування для наступного кроку агента.
Президент і головний архітектор Salesforce Девід Ворд вважає, що надалі маршрутизація охоплюватиме не лише контроль витрат. Йдеться також про довіру, відповідність вимогам, управління доступом до корпоративних даних і вимірювані бізнес-результати. Водночас співзасновник і операційний директор OpenRouter Кріс Кларк наголосив, що побудова промислової платформи маршрутизації потребує партнерств із постачальниками моделей, постійного моніторингу їхньої роботи та реагування на збої й зміни специфікацій.
