音声からAI動画を作る方法

音声の切り出し、参照画像の選び方、1カットの指示、生成後の音と動きの確認を解説します。

LumiYing更新日

1つの聞き取れる出来事から始める

音声参照に対応したモデルを選び、短い録音と鮮明な画像を追加して、目に見える動作を1つ説明します。画角と長さを合わせ、生成されたカット全体を音声付きで確認します。

元の録音は保存しておきます。参照音声は生成後の音にも影響します。大切な言葉、音色、タイミングを比較し、必要に応じて最終編集で元音声を使います。

録音から使える1カットへ

  1. 手順 01 完結した瞬間を切り出す

    1回の打音、短い台詞、音楽の一節を選びます。モデルの制限内のMP3かWAVにし、動作の前後に少し余裕を残します。

  2. 手順 02 動作に合う画像を選ぶ

    重要な顔、手、物体がはっきり見える画像を選びます。歌唱なら顔と肩がよく見える構図にします。追加の参照画像には服装や場所などの具体的な役割を持たせます。

  3. 手順 03 動作とカメラを分けて書く

    被写体の動作、音の役割、カメラの動きを分けて書きます。電話ボックスの例なら、短い会話とゆっくりしたカメラ移動を指定します。最初は競合する動作を加えないようにします。

  4. 手順 04 長さと画角を選ぶ

    準備したファイルを追加して、対応する短い長さを選びます。16:9や9:16に合う構図を用意し、クレジットを確認します。

  5. 手順 05 確認して原因を1つ直す

    参照音声を聞いてから結果を通常速度で再生します。冒頭、中盤、最後の人物や接触、音を比較。再編集で元の入力と設定を復元できます。

入力同士の役割をそろえる

最初の設定例

音声
出来事が明確な短い録音
雑音、音割れ、急な終わりを確認。
画像
被写体と場所が見える1枚
必要な手や物を画角に収める。
プロンプト
動作1つとカメラ1つ
どの参照が何を決めるかを説明。
長さ
音声に近い短い対応時間
動作が終わる余裕を残す。

聞いて確認できる3つの指示例

音と動作を比較し、画像、録音、指示を読み込んで1つだけ調整します。

深夜の電話

話し手と受話器が見える状態を保ちます。表情と話し方を録音と比べてください。カメラ移動で顔が隠れるなら、安定した構図にします。言葉の正確さが必要な場合は発言内容も個別に確認します。

参照画像

参照音声

動画の作例
提案プロンプト

画像1の女性、淡い色のコート、雨に濡れた電話ボックスを使います。アップロードした声と雨音を手がかりに、受話器に向かって控えめな表情で話す様子を1つのミディアムショットで描いてください。ネオンの光を保ち、カメラはゆっくり動かします。

この作例を読み込む

ろくろの土

ろくろの音を聞きながら縁と指を観察。カメラを固定し、最初は手の動きだけを変えて比べます。

参照画像

参照音声

動画の作例
提案プロンプト

画像1の手、土の鉢、工房を使う。回転する縁を手で優しく整える連続した接写。ろくろと土の音を動作の速さに反映し、自然光を保つ。

この作例を読み込む

短い歌唱フレーズ

顔が見える状態を保ち、表情と歌のフレーズを比べます。身振りが邪魔になるなら動きを減らします。言葉と生成された音は、それぞれ元の音声と比べて確認してください。

参照画像

参照音声

動画の作例
提案プロンプト

画像1の歌い手、暖色のスーツ、日差しのあるホールを使います。アップロードした音声を手がかりに、短い歌唱を1つのクローズアップで描いてください。顔と服装を保ち、身振りを抑えてカメラを安定させます。

この作例を読み込む

次の生成で変えること

音と動きが離れる
動作が多い、音源が曖昧
聞こえる出来事と見える原因を1つ指定。
人物や物が変わる
参照の矛盾、狭すぎる構図
鮮明な主画像と保ちたい特徴を指定。
声や音楽が変わる
生成音声と原音の違い
最終編集で元の録音を使う。
動作が途中で終わる
音声の切り出しと出力時間
完結した出来事と最後の間を用意。
よくある質問

よくある質問

対応ファイルは?

音声はMP3またはWAV、画像はJPEG、PNG、WebPです。容量と音声の長さは選択モデルの制限に従ってください。

元の録音はそのまま残りますか?

音やタイミングが変わる場合があります。元の録音を正確に使う場合は、保存した動画に編集ソフトで元音声を配置してください。

単語ごとに口の動きが合いますか?

音声を生成の参照として使う方式です。口の動きは個別に確認してください。単語単位のリップシンクには専用の工程が必要です。

音を手がかりに1カット作る