NVIDIA выпустила открытую модель Nemotron 3.5 Transcribe для речи на 40 языках

Модель доступна на Hugging Face и ModelScope. Она переводит 31 из 40 языков на английский и обратно, определяет говорящих в 13 языках и обрабатывает записи длиной до часа с восемью спикерами. Вывод задаётся текстовой инструкцией, а модель можно дообучить на доменной лексике и акцентах.

В медицинском кейсе дообучение снизило частоту ошибок в словах (WER) на удержанных спикерах на 45,8% относительно лучшего промпта.

Результаты тестов

На Hugging Face Open ASR Leaderboard для английского языка Transcribe первая среди открытых моделей с средним WER 5,33%. В рейтинге Artificial Analysis она с AA-WER 2,8% делит первое место среди открытых моделей, при этом активных параметров около 4 млрд против 24 млрд у модели, с которой она совпадает по точности.

В тестах разметки спикеров модель показала лучшие результаты. На мультиязычном бенчмарке David AI с 21 языком её ошибка диаризации составила 18,26%, что немного лучше у NVIDIA Nemotron 3 Diarization (18,38%). В сравнении VoiceArena из 14 систем Transcribe набрала cpWER 32,4% и заняла первое место.

Запуск и применение

Модель работает на одном GPU NVIDIA: от Jetson AGX Thor и DGX Spark до Blackwell. На одном RTX PRO 6000 Blackwell в формате NVFP4 она обрабатывает 100 часов аудио меньше чем за три минуты на 30-секундных клипах при высокой параллельности.

Модель рассчитана на записанное аудио, а не на живой эфир. Её можно запустить через vLLM или NeMo-Speech.cpp. Для разработчиков это снижает порог входа в собственные голосовые сервисы, но результаты стоит проверять на своих записях.