Как превратить аудио в ИИ-видео

Подготовьте аудиофрагмент и изображение, опишите один кадр и научитесь проверять звук и движение.

LumiYingОбновлено

Начните с одного слышимого события

Выберите модель с аудиореференсом, загрузите короткую запись и чёткое изображение, затем опишите видимое действие. Подберите кадрирование и длительность и проверьте весь результат со звуком.

Сохраните оригинальную запись. Аудиореференс может влиять и на созданную звуковую дорожку. Сравните важные слова, тембр и ритм и при необходимости используйте оригинал в финальном монтаже.

От записи к полезному кадру

  1. Шаг 01 Вырежьте законченный момент

    Выберите удар, короткую реплику или музыкальную фразу. Экспортируйте MP3 или WAV в пределах модели и оставьте небольшой запас до и после действия.

  2. Шаг 02 Подберите изображение для действия

    Важные лицо, руки или предмет должны быть хорошо видны. Для вокального выступления оставьте лицо и плечи открытыми. Дополнительные референсы должны уточнять конкретную деталь, например одежду или место.

  3. Шаг 03 Разделите движение и камеру

    Отдельно опишите действие, роль звука и движение камеры. Для примера с телефонной будкой попросите короткий разговор и плавное движение камеры. Не добавляйте конкурирующие действия в первую попытку.

  4. Шаг 04 Выберите длительность и кадр

    Загрузите материалы и выберите короткую доступную длительность. Подготовьте композицию под 16:9 или 9:16. Проверьте кредиты.

  5. Шаг 05 Проверьте и измените одну причину

    Послушайте референс, затем результат в обычном темпе. Сравните начало, середину и конец. Повторное редактирование восстанавливает исходные файлы и настройки.

Согласуйте входные данные

Практичная первая настройка

Аудио
Чистый фрагмент с ясным событием
Шум, перегрузку и резкое окончание.
Изображение
Чёткий вид героя и места
Нужные руки и предметы в кадре.
Промпт
Одно действие и одна камера
Какой референс задаёт каждую деталь.
Длительность
Короткий вариант рядом с длиной аудио
Достаточно времени для завершения действия.

Три задания для просмотра и прослушивания

Сопоставьте звук и действие. Загрузите изображение, запись и промпт и измените одну деталь.

Поздний звонок

Оставляйте женщину и трубку в кадре. Сравните выражение лица и речь с записью. Если движение камеры скрывает лицо, попросите более устойчивый ракурс. Когда важна точность слов, проверяйте содержание речи отдельно.

Визуальный референс

Аудиореференс

Видеопример
Предлагаемый промпт

Используйте изображение 1 для женщины, светлого пальто и мокрой телефонной будки. Одним средним планом покажите, как она сдержанно говорит в трубку, ориентируясь на голос и дождь из аудиофайла. Сохраните неоновое освещение и плавное движение камеры.

Загрузить пример

Глина на круге

Смотрите на край чаши и пальцы, слушая круг. Оставьте камеру неподвижной и сначала измените только движение рук.

Визуальный референс

Аудиореференс

Видеопример
Предлагаемый промпт

Используй изображение 1 для рук, чаши и мастерской. В непрерывном крупном плане руки осторожно формуют вращающийся край. Темп направляют звуки глины и круга. Естественный свет.

Загрузить пример

Вокальная фраза

Оставляйте лицо видимым и сравнивайте выражение с вокальной фразой. Если жесты отвлекают, попросите меньше движения. Слова и сгенерированный звук проверяйте отдельно по исходному фрагменту.

Визуальный референс

Аудиореференс

Видеопример
Предлагаемый промпт

Используйте изображение 1 для исполнителя, костюма тёплого оттенка и солнечного зала. Одним крупным планом покажите короткое вокальное выступление, ориентируясь на загруженное аудио. Сохраните лицо и одежду, сдержанные жесты и неподвижную камеру.

Загрузить пример

Что изменить в следующей попытке

Действие не связано со звуком
Много действий или неясный источник
Назвать одно событие и его видимую причину.
Герой или предмет меняется
Противоречивые или тесные референсы
Выбрать ясный главный кадр и важные детали.
Голос или музыка меняются
Созданную дорожку и оригинал
Использовать оригинал в финальном монтаже.
Действие обрывается
Фрагмент и выходную длительность
Выбрать завершённое событие с паузой в конце.
Частые вопросы

Частые вопросы

Какие файлы подходят?

Один MP3 или WAV и изображения JPEG, PNG или WebP. Соблюдайте ограничения модели по размеру и длительности аудио.

Сохранится ли запись без изменений?

Модель может изменить звук или тайминг. Для точного оригинала поместите исходную дорожку под скачанный клип в видеоредакторе.

Синхронизируются ли губы с каждым словом?

Здесь аудио используется как ориентир генерации. Проверяйте рот отдельно. Пословная синхронизация требует отдельного процесса.

Попробуйте кадр по звуку