DeepL выпустила модель Aure, которая переносит в перевод тон и темп речи
DeepL выпустила голосовую модель Aure для DeepL Voice. Она переносит в перевод тон, эмоции, акценты и темп речи говорящего.
Главное в цифрах
- Поддерживаемые языки на старте: английский, немецкий, испанский, французский, итальянский, японский, португальский, корейский
- Сокращение в мае: около 250 сотрудников
Раньше DeepL Voice генерировал переведённую речь по голосовому образцу, записанному в начале разговора. Из-за этого сервис не улавливал смену настроения и сарказм. Aure анализирует и перевод, и исходное аудио по ходу беседы.
Модель работает в онлайн-встречах, живых разговорах и через API. На старте поддерживаются английский, немецкий, испанский, французский, итальянский, японский, португальский и корейский языки.
Как устроена модель
При обучении DeepL разделяет идентичность голоса, мелодику речи и содержание, чтобы каждую составляющую можно было переносить в новый язык отдельно. Обучение с подкреплением не даёт акцентам попадать в результат.
Голосовое сохранение впервые появилось в DeepL Voice в сентябре.
Контекст
В мае компания сократила около 250 сотрудников и перестраивается вокруг небольших команд, работающих с ИИ, что в DeepL назвали переходом к статусу «AI-native» компании. DeepL также поглотила команду, стоящую за специалистом по аудиостримингу Mixhalo, чтобы усилить перевод речи в реальном времени.
Block тоже движется к похожей цели. Компания недавно представила Dessa, речевую модель, которая определяет эмоции и сарказм непосредственно по аудио.
