OpenAI 向所有客户开放 Decisions API——TechCrunch

OpenAI 已向所有客户开放 Decisions API——这是一种可在指定选项之间快速作出选择并评估该决策置信度的模型。TechCrunch 报道。该公司于 9 月 29 日的开发者日宣布了这项工具，并于周四向所有客户开放。

面向开发者的更快工具

这类模型被称为决策模型或 System One 模型。它们能够从一组给定选项中快速选择一个方案，并提供置信度评估。开发者会在单独的流程中使用它们来替代大型语言模型，因为这类模型运行更快且成本更低。

OpenAI API 负责人尼昆季·汉达向该媒体表示，团队重新调校了 ChatGPT Luna，以加快推理速度并降低模型的运行成本。据他介绍，在一些任务中，延迟已从一至三秒缩短至 100 至 180 毫秒。

测试与能力

在 Decisions API 的公开版本中，OpenAI 增加了语音和视觉能力，并按地区分配计算资源以减少延迟。在与 Box、Datadog、Ramp 和 Speak 进行的初步测试中，工程师用新 API 替换了 OpenAI 的大型语言模型，以提高吞吐量。

更多最新消息请关注 UA.News Telegram 频道 Telegram.

Speak 首席技术官安德鲁·许表示，这家为语言学习打造 AI 辅导教师的公司，已将操作之间的时间从 1.4 秒缩短至 0.13 秒。OpenAI 还使用该产品提高了其 Dots 语音助手的响应速度。

决策模型的竞争

Decisions API 的竞争对手包括初创公司 TypeSafe 的 Jev 模型。在 AIM System One Index 和 Artificial Analysis Decision Index 排名中，OpenAI 的模型分别位列第八和第十四。Liquid 的 D1 Ultra 与 Base Lab 的 Elephant-1 被称为这两个指数的领跑者。

汉达指出，Luna 的优势可能在于多模态能力，包括图像分类。他还推测，若将延迟进一步降低至约 60 毫秒，便可能使该模型用于分析视频的每一帧。