AI×リップシンク革命：Hedra AIでリアルに歌うキャラクター動画を簡単制作

世界でバズっているリップシンク動画を紹介します。こちらのチャンネルは、開始から1ヶ月で、登録者15万人を達成して、最も急上昇した再生回数は、なんと、4700万回となっています。このような動画は、全てAIで作成できます。今回は、こちらの動画の作り方を紹介します。

音楽の生成

ChatGPTで歌詞の生成

音楽の検索

Youtubeから好きな音楽を検索します。検索窓に、例えば「夏の音楽」と入力して検索します。

URLを取得してChatGPTに読み込んでもらいますので、シングル曲を見つけます。

「・・・」をクリックして、「共有」からリンクをコピーします。

歌詞の生成

ChatGPTを開き、リンクを貼り付けて、次のようにプロンプトを入力します。

注意:
リンク先URLを指定すると、ChatGPTがそのURLでリンク先を読み込んでくれるのですが、読み込み先を間違っていたり、URLが読み込めなかったりすることが多い為、その場合は、具体的な歌手名と楽曲名を指定します。
例)YUIの「SUMMER SONG」です。

[ChatGPTからの回答]

短縮版の生成

リップシンクできるのは、60秒なので、短縮版を依頼します。ChatGPTから勧められます。

留意:
60秒の短縮版で、SUNO.AIで曲を作りますが、60秒で曲が生成されることは少なく、殆ど、60秒を超えることが多い為、結果、原曲のサビから60秒カットするのと同じこととなりますので、短縮版として曲を扱うのでなければ、原曲を短縮カットするのが良い様です。

Styleの変更

画像がギターを弾いている女性なので、曲のスタイルはギター中心に変えてみます。画像に合わせて、Styleを調整しましょう

音楽の生成

suno.aiで曲の生成

Createの選択

suno.aiを起動して、「Create」をクリックします。
留意:
Suno AIで生成した楽曲の著作権は、無料プランではSuno AIに帰属するため商用利用はできませんが、有料プランに加入すると著作権がユーザーに譲渡され、商用利用が可能になります。

歌詞、Style、タイトルを入力

曲の生成

「Create」をクリックすると、2つの曲が生成されます。

気に入った曲をダウンロードします。

曲の短縮

「夏色ノートⅡa.mp3」を曲として採用しますが、2分49秒もあるため、これを60秒以内にしなければ、hedraAIで使用できませんので、曲をサビの部分のみ切り取ります。
注意:
hedraAIは、最大60秒までの動画の生成が可能です。当初20秒と思っていた為、20秒ずつに分割して繋げていましたが、60秒だと1章節位は1動画で済みます。

注意:hedraでは、60秒以上だと音楽フレームが赤くなり、アップロードできません。

filmoraを起動して「夏色ノートⅡa.mp3」をアップロードして、60秒以内に曲をカットします｡
留意:
既にタイムラインにmp3のファイルがある場合は、ミュートしておきます。音楽毎に、別プロジェクトで行うのが良いですが、目的の成果物ではないプロジェクトを増やしたくない為、私はこのような方法を採っています。

画像の生成

画像生成プロンプトの取得

画像の検索

先ほどのチャンネルにアクセスしてショート動画の中から気に入った動画を一次停止して、画像をキャプチャーします。

ChatGPTで画像生成プロンプトの作成

ダウンロードした画像を添付して、次のようにプロンプトを記入します。

[ChatGPTからの回答]

留意:
ImageFX などの画像生成AIで「A beautiful Japanese woman in her mid-20s」という様な固定的なフレーズを使うと、AI が「同じような典型的イメージ」を学習データから毎回呼び出すため、似た顔が出やすくなります。

画像生成プロンプトを10個作成してもらいます。

Piclumenで画像生成

PicLumenは、テキストプロンプトからAI画像を生成するツールです。無料版でも充分に使えます。(毎日10クレジット付与されます。1枚で2～4クレジット使用します。)

画像生成プロンプトの入力

プロンプトを入力して、画像比率、枚数を選択して、「Generate」をクリックします。

画像の生成

他のプロンプトでも生成します。

LeonardAIで画像生成

画像生成プロンプトの入力

プロンプトを入力して、画像比率、枚数を選択して、「Generate」をクリックします。モデルは、Flux devを選択します。

画像の生成

他のプロンプトでも生成します。

動画の作成、編集

リップシンクの動画生成は、hedraAIを使います。hedraAIは、テキストや画像から話したり、歌ったりする動画を自動生成するツールです。(Basicで、1000ｸﾚｼﾞｯﾄで月額10$)
高度なリップシンク技術を使い、簡単に60秒以内のショート動画を作成できます。

hedraAIで動画の作成

普通は画像を動画化して、リップシンクで口パクを合わせるのですが、hedraでは一気に作ります。

Videoをクリック

ログイン後、ビデオをクリックします。

音楽のアップロード

音声スクリプト(Audio script)をクリックして作成した音楽をアップロードします。
注意:音楽は、サビのところだけをカットした60秒以内のものをアップします。

filmoraで60秒以内に短縮した音楽をアップロードします。

画像のアップロード

開始フレーム(Start frame)をクリックして、画像をアップロードします。

Piclumen又は、LeonardAIで生成した画像をアップロードします。

プロンプトの入力

プロンプト入力欄に、「美しい女性が歌を歌いながら、ギターを弾いている」と入力して、生成ボタンをクリックします。

留意:
高解像度の720p動画生成は、1秒あたり6クレジット以上が必要。つまり、30秒の動画なら180クレジット以上を一気に消費しますので、毎日投稿するなら、180×30=5400も必要となるため、20秒位(20x6x30=3600)に抑えるのが良い。

動画の生成

この記事の生成時点では、無料版を使用していましたので、ウォーターマークが入っていますが、YouTubeへアップの時点では、有料版を購入していますのでウォーターマークは入っていません。
注意:
無料版は商用利用が認められていませんので、YouTubeにアップする場合は有料版に切り替えて下さい。

動画のダウンロード

名前を付して、ダウンロードします。

filmoraで動画の編集

filmoraで、字幕の追加や、エフェクトを追加します。
注意:
自動字幕は、CapCutもfilmoramも有料となっていますので、短い曲なので自分でテキスト入力します。

完成したショート動画が、こちらです。