OpenAI открыла всем клиентам Decisions API и добавила поддержку голоса и изображений

Decisions API устроен для задач, где приложению нужно быстро выбрать вариант из заданных возможностей и вернуть оценку уверенности. Такой вызов может заменить обращение к большой языковой модели в отдельных шагах рабочего процесса, когда развёрнутый текстовый ответ не требуется. OpenAI представила API на мероприятии для разработчиков 29 сентября, а теперь открыла доступ всем клиентам. К публичной версии компания добавила работу с голосом и изображениями и распределила ресурсы для инференса по регионам, чтобы сократить задержку ответа.

В основе решения лежит ChatGPT Luna. Команда OpenAI перенастроила модель для более быстрого и дешёвого инференса, а не обучила с нуля отдельную модель, специально откалиброванную для выбора. Руководитель продукта API Никундж Ханда оценивает сокращение времени ответа с одной–трёх секунд до примерно 100–180 миллисекунд. Это объясняет, почему формат интересен приложениям с частыми небольшими решениями: ожидание каждого вызова там складывается в заметную паузу для пользователя.

В предварительных испытаниях API использовали Box, Datadog, Ramp и Speak. Их инженеры заменяли часть вызовов языковых моделей OpenAI на вариант с большей пропускной способностью. Технический директор Speak Эндрю Хсу сообщил, что в приложении для изучения языков время между действиями сократилось с 1,4 до 0,13 секунды. OpenAI также применяла продукт для повышения отзывчивости своего голосового помощника Dots. Эти результаты описывают конкретные внедрения: одинаковой задержки в любом приложении они не обещают.

На этом направлении OpenAI конкурирует с TypeSafe, чья модель Jev тоже быстро выбирает из вариантов и оценивает уверенность. В последней версии Jev появились поддержка изображений и smart-if statements. Публичные рейтинги моделей для принятия решений расходятся: Jev занимает седьмое и третье места в двух упомянутых индексах, модель OpenAI – восьмое и четырнадцатое. Такие позиции не дают универсального ответа на вопрос, какую модель выбрать: для одного сценария важнее скорость, для другого – качество оценок уверенности или стоимость.

Мультимодальность расширяет круг задач для Decisions API за пределы выбора по тексту. Поддержка изображений позволяет передавать визуальную информацию на вход, а голосовой сценарий делает задержку особенно заметной: пауза возникает между репликой человека и действием помощника. При этом текущий выигрыш OpenAI получает за счёт настройки существующей Luna. Ханда допускает, что позже компания займётся специальным обучением моделей для таких задач, но о результате этой работы пока говорить рано.