Как синхронизировать губы в видео

Подготовьте исходник и новую речь, согласуйте ритм и проверьте губы, постоянство лица и звук перед сохранением дубля.

LumiYingОбновлено

Начните с реплики, подходящей к сцене

Выберите короткий клип с одним хорошо видимым говорящим и подготовьте новую фразу в MP3 или WAV. В Lip Sync AI выберите модель с поддержкой видео и аудио и загрузите оба файла. Длина результата автоматически следует исходнику. Модели с фиксированной длительностью используют ближайшее большее допустимое значение, охватывающее весь клип.

Одинаковая длина файлов не гарантирует одинаковый ритм. Посмотрите исходник без звука, отметьте начало речи, конец и паузы. Запишите фразу в близком темпе. Затем сравните и звук, поскольку этот процесс заново создаёт речевую сцену.

Подготовьте, создайте и оцените дубль

  1. Шаг Выберите непрерывный план

    Используйте одного человека анфас или под небольшим углом. Руки и предметы не должны закрывать губы. Длинный ролик заранее разделите на законченные мысли.

  2. Шаг Записывайте в ритме исходника

    Репетируйте, глядя на видео. Сохраните небольшую тишину перед первым словом и естественные паузы. Записывайте один голос без громкой музыки, перегруза и других реплик. Полностью прослушайте экспортированный файл.

  3. Шаг Уложите речь в видео

    Соблюдайте показанные ограничения модели. Запись должна помещаться в исходник. Для видео длиной 8 секунд подготовьте не более 8 секунд речи. Сократите или перезапишите неподходящую фразу.

  4. Шаг Загрузите файлы и проверьте цену

    Откройте Lip Sync AI, выберите модель и добавьте MP4/MOV и новую речь. Задайте разрешение и пропорции, где они доступны, и дождитесь проверки. Длина определяется по исходнику и при необходимости округляется вверх до допустимой. Цена следует правилам модели для входа и выхода.

  5. Шаг Сравните дубль целиком

    Смотрите со звуком на обычной скорости. Проверьте первое слово, звуки со смыканием губ, паузы и конец фразы. При движении изучите зубы, подбородок и контуры лица, затем одежду и фон. Послушайте, не слышна ли старая речь. В повторном редактировании измените причину проблемы.

Проверка перед генерацией

Подготовка

Видео
Один человек с хорошо видимым ртом
MP4/MOV, до 50 или 200 МБ и 15 или 30 секунд в зависимости от модели. Рот должен быть виден.
Запись
Полная разборчивая фраза
MP3/WAV, до 15 МБ. Соблюдайте ограничения модели и укладывайте запись в исходное видео.
Ритм
Слова и паузы подходят к действию
Начало и последнее слово находятся внутри ролика.
Кадр
Автоматическая длина и пропорции по модели
Длина следует исходнику. Модели с фиксированной длительностью округляют вверх, чтобы вместить клип. MiniMax H3 предлагает выбор пропорций.

Три сравнения для практики

Послушайте новую запись и сравните исходник с примером на обычной скорости.

Представление сидя

Начните с первого слова. Прямой ракурс показывает опережение или запаздывание губ. В тишине рот должен возвращаться в спокойное положение.

Загрузить этот пример
Исходное видео
Новая запись речи
Пример синхронизации

Исправьте входные данные, вызвавшие рассинхрон

Речь обрезана
Длина записи и последнее слово
Сократите или перезапишите фразу, сохранив паузы.
Рот двигается в тишине
Исходная игра и новые паузы
Выберите близкий темп или более спокойный исходник и оцените другой дубль.
Меняются слова или голос
Запись и созданный звук
Используйте более чистую запись одного голоса. После замены звука в редакторе снова проверьте губы.
Меняются лицо или фон
Повороты, перекрытия и детали исходника
Попробуйте более чёткий и стабильный план. Генеративное редактирование может затронуть другие детали.
Осталась старая речь
Итоговая дорожка в наушниках
Не сохраняйте дубль с двойным диалогом. Подготовьте чистую запись и проверьте следующий результат.
Частые вопросы

Частые вопросы

Это автоматический перевод?

Самостоятельно подготовьте запись на нужном языке. Страница не выполняет расшифровку, перевод и синтез речи.

Можно выбрать лицо в разговоре?

Первый сценарий рассчитан на одного видимого говорящего. Сначала разделите разговор на отдельные планы.

Можно использовать исходную дорожку?

Отдельный MP3 или WAV допустим, но несколько голосов или громкая музыка мешают определить нужную речь. Сохраните оригинал для сравнения.

Попробуйте новую реплику в видео