Как добавить звук и музыку к видео нейросетью: звуки по кадру и трек под монтаж

Видео без звука выглядит недоделанным: мотоцикл едет беззвучно, волны бьются о скалы в тишине. Такие ролики получаются у видеомоделей без звуковой дорожки, например у новой Luma Ray 3.2, у старых генераций, у записей экрана и у роликов с телефона, где звук пришлось вырезать.

Инструмент «Звук для видео» озвучивает готовый ролик и не трогает картинку. В режиме «Звуки» нейросеть Mirelo SFX 2.0 смотрит на кадр и подбирает шумы под то, что в нём происходит. В режиме «Музыка» ElevenLabs Music пишет трек под длину ролика. Ниже — оба режима на одном и том же ролике.

Исходник: немой ролик из Luma Ray 3.2

Для примера мы сделали пятисекундный ролик в генераторе видео на модели Luma Ray 3.2, в режиме «Текст в видео». Модель хорошо работает с камерой и светом, но звук не делает совсем — в списке моделей у неё стоит пометка «Без звука».

Режим «Звуки»: шумы по картинке

Mirelo SFX 2.0 смотрит на кадр и подбирает звуки под действие: движение, удары, окружение. Подсказка не обязательна — этот пример сделан без неё. Подсказкой можно добавить то, чего в кадре не видно: далёкую грозу, шум кафе за кадром.

Режим «Музыка»: трек под ролик

ElevenLabs Music смотрит ролик целиком и пишет музыку ровно на его длину. Жанр, настроение и инструменты задаёт подсказка; без неё нейросеть выберет стиль сама по картинке.

Что подготовить

• Ролик длиной от 1 до 60 секунд и размером до 70 МБ.
• Готовый монтаж: инструмент добавляет звук, но не меняет картинку, поэтому сначала обрежьте и склейте видео.
• Если в ролике есть речь — решите, нужна ли она. Её можно сохранить переключателем.
• По желанию — подсказку: какие звуки добавить или какую музыку написать. Писать можно по-русски, сайт переведёт её для модели.

Как пользоваться: по шагам

1. Откройте «Звук для видео» в разделе «Видео». Если модель в генераторе видео делает ролики без звука, под настройками будет ссылка на этот инструмент.
2. Загрузите ролик.
3. В поле «Что добавить» выберите «Звуки» или «Музыка» — цена каждого режима видна прямо на кнопке.
4. Если нужно, напишите подсказку.
5. Для звуков оставьте включённым «Сохранить речь из ролика», если в нём говорят люди. Для музыки переключатель «Оставить исходный звук под музыкой» сохраняет звук ролика, а музыка становится тише, когда он громкий.
6. Нажмите «Добавить звук». Готовый MP4 появится на экране и в истории, откуда его можно скачать.

Подсказки для примера

Для режима «Звуки» — то, чего нет в кадре или что нужно подчеркнуть:

Для режима «Музыка» — жанр, настроение и инструменты:

Звуки или музыка: что выбрать

Режимы можно совместить: сначала добавьте звуки, потом загрузите результат ещё раз и сделайте музыку с включённым «Оставить исходный звук под музыкой».

Что получится на выходе

• MP4 той же длины, что и исходник. Звук идёт от первого до последнего кадра, обрезать или подгонять его не нужно.
• В режиме «Музыка» картинка не пережимается: нейросеть смотрит уменьшенную копию ролика, а трек кладётся на ваш оригинал в исходном качестве.
• Если включено «Оставить исходный звук под музыкой» и в ролике есть свой звук, музыка идёт тише и приглушается сильнее, когда в ролике говорят или громко шумят. За две секунды до конца она плавно затихает.
• Если звук не понравился, запустите ещё раз с той же подсказкой или поправьте её: каждая генерация даёт новый вариант.

Как писать подсказку

Подсказка — до 500 символов. Хватает короткой фразы: модель уже видит ролик, поэтому описывать картинку не нужно. Для звуков называйте источники: «гул мотора, шум прибоя, крики чаек». Для музыки — жанр, темп и пару инструментов: «быстрый электро-поп с синтезатором». Указывать время и длину не нужно: трек и так пишется ровно под ролик. Писать можно по-русски — перед отправкой в модель сайт переведёт подсказку на английский.

Сколько стоит

Цена зависит от длины ролика и видна на кнопке до запуска. Если озвучить не получилось, кредиты возвращаются.