Firmy wdrażają routery oparte na modelach sztucznej inteligencji w związku ze wzrostem kosztów pracy agentów
Firmy coraz częściej wdrażają routery modeli sztucznej inteligencji — oprogramowanie, które dobiera model AI do konkretnego zadania, biorąc pod uwagę cenę, szybkość i jakość działania. Przyczyną są koszty związane z autonomicznymi agentami AI, w szczególności narzędziami do programowania, takimi jak Claude Code i Codex, które mogą działać przez wiele godzin i zużywać miliony tokenów, jak podaje magazyn „Fortune”.
W odróżnieniu od zwykłego chatbota, autonomiczny agent może wielokrotnie korzystać z zaawansowanych modeli podczas wykonywania długotrwałego zadania. Może to znacznie zwiększyć koszty inferencji — generowania odpowiedzi przez model. Zgodnie z badaniem, na które powołuje się magazyn, 62% organizacji stwierdziło, że nieoczekiwane wydatki na sztuczną inteligencję w ciągu ostatniego roku miały istotny wpływ na decyzje biznesowe. W 40% takich przypadków sprawę trzeba było skierować na poziom rady dyrektorów, 33% firm wprowadziło nadzwyczajne zamrożenie wydatków, a 25% odłożyło lub anulowało inicjatywę związaną ze sztuczną inteligencją.
Routery pozwalają uniknąć wysyłania każdego zapytania do najdroższego, zaawansowanego modelu. Firmy mogą samodzielnie ustalać reguły wyboru lub zlecić systemowi automatyczne określanie optymalnego modelu na każdym etapie pracy agenta. Przedstawiciele branży twierdzą, że takie podejście może obniżyć koszty wnioskowania o kilkadziesiąt procent, a w niektórych przypadkach nawet o 30%.
Więcej aktualnych wiadomości można znaleźć na kanale Telegram UA.News.
Na tym rynku działają OpenRouter, Not Diamond i LiteLLM. OpenRouter oferuje ujednolicony dostęp do setek modeli AI, Not Diamond automatycznie kieruje zapytania do modelu, który jego zdaniem najlepiej odpowiada konkretnemu zadaniu, a LiteLLM pomaga przedsiębiorstwom w tworzeniu własnej infrastruktury routingu. Salesforce i Databricks również integrują takie funkcje ze swoimi platformami AI. Według danych magazynu „Fortune” nad własnymi routerami pracują firmy Cursor, Ramp i Meta, a Runway już wprowadziła na rynek taki produkt.
Dyrektor generalny Not Diamond, Thomas Hernando Kofman, zauważył, że wykorzystywanie najpotężniejszego modelu do wszystkich zadań może być marnotrawstwem. Jednocześnie niewłaściwie dobrany mniejszy model również może zwiększyć koszty, jeśli potrzebuje więcej czasu na wykonanie zadania. System routingu może uwzględniać złożoność zapytania, historię dialogu i inne sygnały, aby dobrać model i poziom rozumowania dla kolejnego kroku agenta.
Prezes i główny architekt Salesforce, David Ward, uważa, że w przyszłości routing będzie obejmował nie tylko kontrolę kosztów. Chodzi również o zaufanie, zgodność z wymogami, zarządzanie dostępem do danych korporacyjnych oraz wymierne wyniki biznesowe. Jednocześnie współzałożyciel i dyrektor operacyjny OpenRouter, Chris Clark, podkreślił, że stworzenie przemysłowej platformy routingu wymaga partnerstw z dostawcami modeli, ciągłego monitorowania ich działania oraz reagowania na awarie i zmiany specyfikacji.
Czytaj nas na Telegram i Sends
