目パチ口パク動画生成ツール

先日の「AI小説とAI絵とAI音声を生成して合体してみた」で使った口パクツールは、もう少しブラッシュアップしてから公開しようと思ったのですが、そのまま忘れる可能性が大きいため、ひとまずβ版として公開しておくことにしました。

音声に合わせてリップシンクするWebアプリ

• 口の位置はマウスまたはタッチ操作で移動可能
• 4つの絵（キャラ絵、目パチ、口、背景）と音声はお手持ちのデータへ変更可能
• 但し、AI絵を使うことを前提に作っているため1024x1024固定

[START]で音声再生（＆口パク）開始、[STOP]または再生終了時に[DOWNLOAD]ボタンが現れ、動画(webm/h264)が保存できます。

便宜上、DOWNLOADとは書いてありますが、動画や変更した画像がどこかのサーバーへ送信されるようなことはありません。全てローカルPCのブラウザ内で完結しています。

閾値について

口の開き方はSettingの「閾値」次第で、この値が大きいほど音量変化に敏感になりますが、大きすぎると閉じっぱなしになります。

逆に閾値が小さいとちょっと音が鳴っただけで口が開きっぱなしに。

音声データによりますが、おおよそ5000～30000の間が良いと思います。

動画形式について

ブラウザによって対応している動画形式が異なるようなので、とりあえずwebm/h264/opus固定で作成しています。

ただ、理由がよくわからないのですが、このブラウザで生成した動画をShotcutのタイムラインへ直接ドラッグ＆ドロップするとShotcutがフリーズします。

他の動画ソフト（例えばOpenShot等）では問題ないので、Shotcutのバグなのかなぁ…。尚、Shotcutでも、いきなりタイムラインではなく、いったんプレイリストへほおりこめば問題なく使えます。その際、再生時間が読み取れていないようなので、webm形式の読み込みに何か問題があるのかも知れません。

ffmpeg等の動画変換ツールが使えるなら、webmコンテナからmp4等へ変換するだけでも問題なく使えるようになります。ぼくはこの方法で先日の動画を作りました。

目パチの頻度

90フレーム（約1.5秒）ごとに2分の1の確率で6フレーム（0.1秒）目を閉じます。

あくまで確率なので、1.5秒ごとにパチパチパチパチすることもあれば、10秒以上目を開きっぱなしなこともあります。

作成データ例

キャラ、閉じ目、背景の3つは1024x1024pxですが、口については音によって大きさを変える都合上、口周辺だけの絵にする必要があります。

謝辞

オープンソースソフトウェアの開発者および各種素材の制作者の皆さまに感謝します。

■使用ソフト (AI関連)

■使用モデル（AI絵）

ebara_pony_2.1
Pony Diffusion V6 XL

■使用モデル（AI音声）

Beatrice JVS Corpus Edition
https://github.com/w-okada/voice-changer/tree/master/server/voice_changer/Beatrice