VibeVoice: Открытые модели распознавания и синтеза речи от Microsoft: ASR, TTS и потоковый режим.
Открытые модели распознавания и синтеза речи от Microsoft: ASR, TTS и потоковый режим.
Иллюстрация: GitHub
Главное в цифрах
- Звёзд на GitHub: 56,3 тыс.
- Язык: Python
- Лицензия: MIT
Чем полезно
Распознаёт часовые записи за один проход с разметкой, кто и когда сказал, и поддерживает пользовательские hotwords. Это избавляет от ручной нарезки аудио и склейки результатов по кускам, которую обычно делают классические ASR.
Главные возможности
- ASR до 60 минут аудио за один проход с определением говорящих и таймкодами
- Потоковое распознавание с выдачей текста по мере поступления звука
- TTS-модели для диалогов до 90 минут и до 4 говорящих, доступен BitNet для CPU
Для кого
Разработчики голосовых сервисов, исследователи речи и создатели подкастов
Как начать
Нет точной команды в предоставленном README
Нашли ошибку или есть что добавить? Напишите редакции
Источник: GitHub
GitHub-находки
Такие новости первыми, в Telegram