Nvidia выпустила открытую модель Nemotron 3.5 Transcribe для работы с речью

Nemotron 3.5 Transcribe принимает записанную речь и текстовую инструкцию о том, каким должен быть результат. Один и тот же checkpoint может подготовить расшифровку, перевод, ответы на вопросы по аудио или разметку говорящих – diarization. Например, в инструкции можно попросить сохранить исходный язык разговора и подсказать написание медицинских терминов. Это позволяет задавать формат результата без отдельной модели для каждого варианта записи.

Возможности зависят от языка и задачи. Модель транскрибирует речь на 40 языках, переводит 31 из них на английский или с английского и размечает говорящих на 13 языках. Она обрабатывает записи длиной до часа и может отметить до восьми участников; поддерживаются и временные метки для отдельных слов. Вопросы к аудио обучены на английском. Для интеграции это означает, что поддержку нужного языка надо проверять отдельно для расшифровки, перевода и diarization.

Модель выложена с открытыми весами на Hugging Face и ModelScope. Вместе с ней Nvidia представила Granary v2 с более чем 800 тысячами часов речи, инструменты подготовки данных и средства дообучения NeMo Speech. Текстовая подсказка подходит для разовых требований к написанию слов, а дообучение помогает адаптировать распознавание к устойчивым особенностям речи и профессиональной лексике. В медицинском примере компании оно снизило word error rate, долю ошибок распознавания слов, на 45,8% относительно лучшей подсказки на тесте с ранее не встречавшимися говорящими.

Nvidia указывает на первое место модели среди открытых моделей в английском рейтинге Hugging Face Open ASR Leaderboard и на результаты в тестах разметки говорящих. Эти оценки полезны для выбора кандидата, но проверять имена, смену говорящих и ответы на вопросы всё равно нужно по самой записи. Сейчас модель работает с готовыми записями, поэтому для живого разговора без задержки потребуется другое решение. Квантованные версии для локального запуска компания пока только готовит.