OpenAI udostępniło Decisions API wszystkim klientom — TechCrunch

OpenAI otworzyło wszystkim klientom dostęp do Decisions API — modelu służącego do szybkiego wyboru spośród określonych opcji i oceny pewności takiej decyzji. Informuje o tym TechCrunch. Firma zapowiedziała narzędzie podczas dnia deweloperów 29 września, a w czwartek stało się ono dostępne dla wszystkich klientów.

Szybsze narzędzie dla deweloperów

Modele tego typu nazywa się modelami decyzyjnymi lub modelami System One. Mogą one szybko wybrać wariant z zestawu proponowanych opcji i przedstawić ocenę pewności. Deweloperzy wykorzystują je w poszczególnych procesach zamiast dużych modeli językowych, ponieważ działają szybciej i są tańsze.

Szef kierunku API w OpenAI, Nikunj Handa, powiedział redakcji, że zespół ponownie dostroił ChatGPT Luna, aby przyspieszyć wnioskowanie i obniżyć koszt działania modelu. Jak stwierdził, w niektórych zadaniach udało się skrócić opóźnienie z jednej–trzech sekund do 100–180 milisekund.

Testy i możliwości

W publicznej wersji Decisions API OpenAI dodało możliwości głosowe i wizualne, a także rozdzieliło zasoby obliczeniowe między regiony, aby zmniejszyć opóźnienia. Podczas początkowych testów z Box, Datadog, Ramp i Speak inżynierowie zastępowali duże modele językowe OpenAI nowym API, aby zwiększyć przepustowość.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Dyrektor techniczny Speak, Andrew Hsu, oświadczył, że firma tworząca korepetytorów AI do nauki języków skróciła czas między działaniami z 1,4 sekundy do 0,13 sekundy. OpenAI zastosowało również produkt, aby zwiększyć szybkość reakcji asystenta głosowego Dots.

Konkurencja modeli decyzyjnych

Decisions API konkuruje między innymi z modelem Jev startupu TypeSafe. W rankingach AIM System One Index oraz Artificial Analysis Decision Index model OpenAI zajął odpowiednio ósme i czternaste miejsce. Liderami tych indeksów nazwano D1 Ultra od Liquid oraz Elephant-1 od Base Lab.

Handa zaznaczył, że przewagą Luny może być multimodalność, w tym klasyfikacja obrazów. Przypuszczał również, że dalsze obniżenie opóźnienia do około 60 milisekund mogłoby umożliwić wykorzystanie modelu do analizy każdej klatki wideo.