OpenAI відкрила доступ до Decisions API для всіх клієнтів — TechCrunch
OpenAI відкрила для всіх клієнтів доступ до Decisions API — моделі для швидкого вибору між заданими варіантами та оцінювання впевненості в такому рішенні. Про це повідомляє TechCrunch. Компанія анонсувала інструмент під час дня розробників 29 вересня, а в четвер він став доступним усім клієнтам.
Швидший інструмент для розробників
Моделі такого типу називають decision-моделями або моделями System One. Вони можуть швидко обирати варіант із набору запропонованих опцій та надавати оцінку впевненості. Розробники використовують їх в окремих процесах замість великих мовних моделей, оскільки такі моделі працюють швидше та коштують дешевше.
Керівник напряму API в OpenAI Нікунж Ханда розповів виданню, що команда переналаштувала ChatGPT Luna, щоб прискорити інференс і знизити вартість роботи моделі. За його словами, у деяких завданнях затримку вдалося скоротити з однієї—трьох секунд до 100—180 мілісекунд.
Випробування та можливості
У публічній версії Decisions API OpenAI додала голосові й візуальні можливості, а також розподілила обчислювальні ресурси за регіонами для зменшення затримок. Під час початкових випробувань із Box, Datadog, Ramp і Speak інженери замінювали великі мовні моделі OpenAI на новий API, щоб підвищити пропускну здатність.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Технічний директор Speak Ендрю Сю заявив, що компанія, яка створює ШІ-репетиторів для вивчення мов, скоротила час між діями з 1,4 секунди до 0,13 секунди. OpenAI також застосувала продукт для підвищення швидкості реакції голосового асистента Dots.
Конкуренція моделей для рішень
Decisions API конкурує, зокрема, з моделлю Jev від стартапу TypeSafe. У рейтингах AIM System One Index та Artificial Analysis Decision Index модель OpenAI посіла відповідно восьме й чотирнадцяте місця. Лідерами цих індексів названі D1 Ultra від Liquid та Elephant-1 від Base Lab.
Ханда зазначив, що перевагою Luna може бути мультимодальність, зокрема класифікація зображень. Він також припустив, що подальше зниження затримки приблизно до 60 мілісекунд могло б дати змогу застосовувати модель для аналізу кожного кадру відео.
