OpenAI открыла доступ к Decisions API для всех клиентов — TechCrunch
OpenAI открыла для всех клиентов доступ к Decisions API — модели для быстрого выбора между заданными вариантами и оценки уверенности в таком решении. Об этом сообщает TechCrunch. Компания анонсировала инструмент во время дня разработчиков 29 сентября, а в четверг он стал доступен всем клиентам.
Более быстрый инструмент для разработчиков
Модели такого типа называют моделями принятия решений или моделями System One. Они могут быстро выбирать вариант из набора предложенных опций и предоставлять оценку уверенности. Разработчики используют их в отдельных процессах вместо больших языковых моделей, поскольку такие модели работают быстрее и стоят дешевле.
Глава направления API в OpenAI Никунж Ханда рассказал изданию, что команда перенастроила ChatGPT Luna, чтобы ускорить инференс и снизить стоимость работы модели. По его словам, в некоторых задачах задержку удалось сократить с одной—трех секунд до 100—180 миллисекунд.
Испытания и возможности
В публичной версии Decisions API OpenAI добавила голосовые и визуальные возможности, а также распределила вычислительные ресурсы по регионам для уменьшения задержек. Во время первоначальных испытаний с Box, Datadog, Ramp и Speak инженеры заменяли большие языковые модели OpenAI новым API, чтобы повысить пропускную способность.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Технический директор Speak Эндрю Сю заявил, что компания, создающая ИИ-репетиторов для изучения языков, сократила время между действиями с 1,4 секунды до 0,13 секунды. OpenAI также применила продукт для повышения скорости реакции голосового ассистента Dots.
Конкуренция моделей для принятия решений
Decisions API конкурирует, в частности, с моделью Jev от стартапа TypeSafe. В рейтингах AIM System One Index и Artificial Analysis Decision Index модель OpenAI заняла соответственно восьмое и четырнадцатое места. Лидерами этих индексов названы D1 Ultra от Liquid и Elephant-1 от Base Lab.
Ханда отметил, что преимуществом Luna может быть мультимодальность, в частности классификация изображений. Он также предположил, что дальнейшее снижение задержки примерно до 60 миллисекунд могло бы позволить применять модель для анализа каждого кадра видео.
