動画の口の動きを音声に合わせる方法

元動画と差し替え音声を準備し、タイミングを合わせ、口元・顔の一貫性・音を確認する手順を紹介します。

LumiYing更新日

元の演技に収まるセリフから始める

話者1人がはっきり見える短い映像と、新しいセリフのMP3/WAVを用意します。Lip Sync AIで動画と音声に対応するモデルを選び、両方を追加してください。出力時間は元動画に自動で合わせます。固定の時間が必要なモデルでは、動画全体が収まる次の対応時間に切り上げます。

ファイルの長さが同じでも、話すリズムは一致するとは限りません。元動画を無音で見て、話し始め・終わり・間を確認します。近いリズムで録音し、生成後は音も聞き比べてください。この処理では発話全体を再生成します。

準備から結果の確認まで

  1. 手順 連続した1カットを選ぶ

    正面または少し斜めの話者を使います。手や物で唇が隠れる映像は避け、長い動画は意味が完結する位置で先に切り分けます。

  2. 手順 元動画に合わせて録音する

    映像を見ながらセリフを練習し、最初の言葉の前と文の途中に自然な間を残します。大きな音楽、音割れ、重なる声を避け、書き出したMP3/WAVを最後まで聞きます。

  3. 手順 音声を動画内に収める

    表示されるモデルの制限に従ってください。録音は元動画の長さ以内に収めます。8秒の動画なら音声も8秒以内にし、収まらない文は短くするか録り直してください。

  4. 手順 アップロードして料金を確認

    Lip Sync AIでモデルを選び、MP4/MOVと新しい音声を追加します。表示される解像度と比率を設定してメディア確認を待ちます。出力時間は元動画から自動で決まり、必要なモデルでは対応時間に切り上げます。料金はモデルの入力・出力時間の計算に従います。

  5. 手順 全編を比較する

    音声付きで通常速度で再生します。最初の言葉、唇が閉じる音、無音の間、最後の言葉を確認します。動作中の歯・顎・輪郭、服や背景も比較してください。元の声が重なっていないかも聞き、再編集で原因となる入力を変更します。

生成前の確認

入力の準備

動画
口元が見える話者1人
MP4/MOV。モデルにより最大50または200 MB、15または30秒。口元を明瞭にします。
録音
明瞭な一文
MP3/WAV、最大15 MB。モデルの制限に従い、音声を元動画の長さ以内に収めます。
タイミング
言葉と間が元の動きに合う
話し始めと最後の言葉を動画内に収めます。
映像
時間は自動、比率はモデルに応じて設定
出力時間は元動画に従います。固定時間のモデルは動画全体が収まるよう切り上げます。MiniMax H3では比率を選べます。

3つの例で比較を練習

差し替え音声を聞き、元動画と例を通常速度で比較します。

座って自己紹介

最初の言葉から確認します。正面の映像では口の動きが早いか遅いかを判断しやすくなります。無音時に口が休むかも見てください。

この例を読み込む
元動画
差し替え音声
リップシンクの例

ずれの原因となる入力を直す

セリフが切れる
録音の長さと最後の言葉
文を短くするか録り直し、自然な間を残します。
無音でも口が動く
元の演技と新しい無音部分
近いテンポのセリフか、動きの少ない映像を使い、別の結果を確認します。
言葉や声が変わる
録音と生成音声
話者1人の明瞭な録音にします。編集ソフトで音を差し替えた場合も口のタイミングを再確認します。
顔や周囲が変わる
首の回転、遮蔽物、元の細部
見やすく安定した映像を試します。生成編集では口以外も変わる場合があります。
元のセリフが残る
ヘッドホンで最終音声
声が重なった結果は採用せず、明瞭な差し替え音声で次の結果を確認します。
よくある質問

よくある質問

自動翻訳できますか?

目的の言語で録音を用意してください。このページには文字起こし、翻訳、音声合成はありません。

会話の中の顔を指定できますか?

最初のワークフローは話者1人向けです。会話は先に1人ずつのカットに分けてください。

元の音声を再利用できますか?

別のMP3/WAVとして追加できますが、複数の声や大きな音楽があると対象の発話が不明瞭になります。比較用に元ファイルを残してください。

動画で新しいセリフを試す