Google запустила Gemini Decisions API для быстрых ответов на закрытые вопросы

Новый эндпоинт доступен через Gemini API в Google AI Studio, идентификатор модели gemini-decision-1. Он рассчитан на решения с ограниченным набором исходов. Google приводит в пример выбор инструмента для агента, проверку на соответствие политике, маршрутизацию запроса между моделями и оценку релевантности контекста. Обычно для этого вызывают генеративную модель и разбирают её текстовый ответ либо обучают отдельный классификатор.

В запросе передают один общий вход объёмом до 256 тысяч токенов и до 1000 независимых вопросов к нему. Вход может сочетать текст, изображения, аудио, видео и PDF. Вопросы бывают трёх типов: «да или нет», выбор из вариантов, оценка по рубрике. Их можно смешивать в одном запросе. Модель оценивает варианты за один прямой проход (forward pass), без декодирования токен за токеном, и к каждому ответу прикладывает показатель уверенности от 0 до 1. По нему код может отправлять неоднозначные случаи запасной модели или человеку.

Отказ от генерации снижает задержку. Google заявляет медианные 50–100 мс вычислений модели и 150–250 мс от запроса до ответа на контекстах до 16 тысяч токенов. По её данным, это время почти не меняется при росте числа вопросов от 1 до 100. На наборе бенчмарков по маршрутизации агентов, рассуждениям, ранжированию и мультимодальному пониманию модель, по утверждению компании, лидирует и показывает наименьшую ошибку калибровки. Это значит, что заявленная ею уверенность ближе всего к реальной доле верных ответов. Независимых замеров пока нет.

Цена составляет 0,10 доллара за миллион входных токенов, выходные токены бесплатны. Общий вход оплачивается один раз за запрос, а каждый вопрос добавляет только токены своей инструкции и критериев. Отдельной платы за расшифровку аудио, OCR или токены рассуждений нет. Для прототипов в AI Studio есть бесплатный уровень.

Внутри Google команды уже используют Decisions API как быстрый управляющий слой. Новую функцию там запускают, описав варианты выбора, и обходятся без обучения собственного классификатора. Среди примеров компания называет Stitch Rapid, который за секунды собирает целый продуктовый сценарий.