Чтобы перевести видео на русский, обычно нужны переводчик, диктор и монтажёр. Здесь всё это делает нейросеть, а вы проверяете перевод перед озвучкой.
Загрузите видео с речью — до 5 минут и 100 МБ. ElevenLabs Scribe распознаёт речь и сам определяет язык оригинала, отделяет одного спикера от другого (до четырёх человек) и понимает, кто из них мужчина, а кто женщина. Затем языковая модель переводит каждую фразу так, чтобы она укладывалась в своё время: перевод получается не дословным, а таким, каким его произнёс бы человек. Все фразы показываем списком — любую можно поправить, а если строка выходит длинноватой, редактор предупредит, что речь в этом месте ускорится.
Для озвучки выберите голос каждого спикера. «Собственный голос» клонирует голос человека из этого же видео, и он заговорит на новом языке своим тембром. Можно взять и голос из библиотеки ElevenLabs. Demucs отделяет речь от музыки и шумов, поэтому новая озвучка ложится на исходный фон, а громкость речи выравнивается по всему ролику.
Дальше по желанию. «Синхронизация губ» (Sync Lipsync 2) подгоняет движение губ под новую речь — для роликов до 2 минут, где лицо крупно в кадре. «Вшить субтитры» добавит текст перевода прямо в кадр; файл SRT можно скачать в любом случае.
Перевести можно на 18 языков: русский, английский, испанский, французский, немецкий, итальянский, португальский, польский, турецкий, нидерландский, украинский, японский, корейский, китайский, арабский, хинди, индонезийский и вьетнамский. Для украинского, индонезийского и вьетнамского пока доступны только голоса из библиотеки. Клонировать можно только свой голос или голос человека, который на это согласился, — перед озвучкой это нужно подтвердить.