Audio in ein KI-Video verwandeln

Bereite einen Audioausschnitt und ein Referenzbild vor, beschreibe eine Aufnahme und prüfe anschließend Ton und Bewegung.

LumiYingAktualisiert

Mit einem hörbaren Ereignis beginnen

Wähle ein Modell mit Audioreferenz, lade einen kurzen Ausschnitt und ein klares Bild hoch und beschreibe eine sichtbare Handlung. Passe Bildausschnitt und Dauer an und prüfe die gesamte Aufnahme mit Ton.

Bewahre die Originalaufnahme auf. Die Audioreferenz kann auch den generierten Soundtrack beeinflussen. Vergleiche wichtige Wörter, Klang und Timing und nutze bei Bedarf die Originalspur im finalen Schnitt.

Von der Aufnahme zum brauchbaren Clip

  1. Schritt 01 Einen vollständigen Moment ausschneiden

    Wähle einen Schlag, eine kurze Aussage oder eine musikalische Phrase. Exportiere MP3 oder WAV innerhalb der Modellgrenzen und lasse etwas Platz vor und nach der Handlung.

  2. Schritt 02 Ein geeignetes Bild wählen

    Zeige Gesicht, Hände oder Gegenstand gut sichtbar. Bei Gesang sollten Gesicht und Schultern frei erkennbar sein. Weitere Referenzen sollten ein bestimmtes Detail wie Kleidung oder Ort ergänzen.

  3. Schritt 03 Handlung und Kamera getrennt beschreiben

    Beschreibe die Handlung, die Rolle des Tons und die Kamera getrennt. Bitte beim Telefonzellen-Beispiel um ein kurzes Gespräch und eine sanfte Kamerabewegung. Lass konkurrierende Handlungen im ersten Entwurf weg.

  4. Schritt 04 Dauer und Format wählen

    Lade die vorbereiteten Dateien hoch. Nutze eine kurze Modelldauer und einen passenden Bildausschnitt für 16:9 oder 9:16. Prüfe die angezeigten Credits.

  5. Schritt 05 Prüfen und gezielt ändern

    Höre zuerst die Referenz und spiele danach das Ergebnis ab. Vergleiche Anfang, Mitte und Ende. Erneutes Bearbeiten stellt die ursprünglichen Eingaben wieder her.

Eingaben aufeinander abstimmen

Ein sinnvoller Start

Audio
Ein sauberer Ausschnitt mit klarem Ereignis
Auf Rauschen, Übersteuerung und abrupte Enden achten.
Bild
Ein klarer Blick auf Motiv und Umgebung
Relevante Körperteile und Objekte sichtbar halten.
Prompt
Eine Handlung und eine Kameraeinstellung
Wichtige Details den Referenzen zuordnen.
Dauer
Eine kurze verfügbare Länge nahe am Ausschnitt
Zeit für das Ende der Handlung lassen.

Drei Vorlagen zum Hören und Ansehen

Vergleiche Ton und sichtbare Handlung. Lade Bild, Aufnahme und Prompt für einen eigenen Versuch.

Ein nächtlicher Anruf

Halte die Anruferin und den Hörer sichtbar. Vergleiche Ausdruck und Sprache mit der Aufnahme. Verdeckt die Kamerabewegung das Gesicht, verlange eine ruhigere Einstellung. Prüfe den Wortlaut gesondert, wenn er genau erhalten bleiben soll.

Bildreferenz

Audioreferenz

Videobeispiel
Prompt-Vorschlag

Verwende Bild 1 für die Frau, den hellen Mantel und die regennasse Telefonzelle. Zeige sie in einer halbnahen Einstellung mit zurückhaltendem Ausdruck beim Telefonieren, angeleitet von Stimme und Regen der Audiodatei. Erhalte das Neonlicht und bewege die Kamera sanft.

Beispiel laden

Ton auf der Scheibe

Beobachte Rand und Finger beim Klang der Scheibe. Halte die Kamera ruhig und ändere zunächst nur die Handbewegung.

Bildreferenz

Audioreferenz

Videobeispiel
Prompt-Vorschlag

Nutze Bild 1 für Hände, Tonschale und Werkstatt. Zeige in einer durchgehenden Nahaufnahme, wie die Hände den rotierenden Rand formen. Richte das Tempo an den Geräuschen von Ton und Scheibe aus.

Beispiel laden

Eine Gesangsphrase

Halte das Gesicht sichtbar und vergleiche den Ausdruck mit der Gesangsphrase. Lenken Gesten ab, verlange weniger Bewegung. Prüfe Wortlaut und erzeugten Ton getrennt anhand des Originalausschnitts.

Bildreferenz

Audioreferenz

Videobeispiel
Prompt-Vorschlag

Verwende Bild 1 für den Sänger, den warmtonigen Anzug und die sonnige Halle. Zeige in einer Nahaufnahme eine kurze Gesangsdarbietung, angeleitet von der hochgeladenen Audiodatei. Erhalte Gesicht und Kleidung, halte Gesten zurückhaltend und die Kamera ruhig.

Beispiel laden

Den nächsten Versuch verbessern

Handlung passt nicht zum Ton
Zu viele Aktionen oder unklare Klangquelle
Ein hörbares Ereignis mit sichtbarer Ursache benennen.
Motiv verändert sich
Widersprüchliche oder zu enge Referenzen
Klareres Hauptbild verwenden und wichtige Details nennen.
Sprache oder Musik verändert sich
Generierte Spur mit dem Original vergleichen
Originalaufnahme für den finalen Schnitt verwenden.
Handlung bricht ab
Ausschnitt und Ausgabedauer
Vollständiges Ereignis mit kurzer Endpause wählen.
Häufige Fragen

Häufige Fragen

Welche Dateien werden unterstützt?

Ein MP3- oder WAV-Ausschnitt sowie JPEG-, PNG- oder WebP-Bilder. Beachte Dateigröße und Audiodauer des gewählten Modells.

Bleibt die Aufnahme unverändert?

Das Modell kann Ton oder Timing verändern. Für die exakte Aufnahme legst du die Originalspur im Videoeditor unter den heruntergeladenen Clip.

Werden alle Wörter lippensynchron?

Audio dient hier als Generierungsreferenz. Prüfe Mundbewegungen gesondert. Wortgenaue Lippensynchronisation benötigt einen eigenen Workflow.

Eine klanggeführte Aufnahme ausprobieren