LTX2.3とIrodori-TTSでリップシンクテスト

先日、コメント欄でLTX2.3やIrodori-TTSの話題があり、久しぶりに音声生成したくなったので、LTX2.3でパンチラ動画作りつつ、音声も入れてみました。

LTX2.3で変な音声のまま動画生成し、そこにIrodori-TTSで生成した綺麗な音声をいい感じにカット＆ペーストしただけです。

小生意気なメスガキちゃんの見せつけパンチラ

LTX 2.3は704x1280px 6秒動画がRTX4070でわずか90秒で作れてしまうくらい優秀なのですが、アニメ系だと崩れやすいのが難点。実際この動画もけっこう口の形くずれているし、足の組み換えもちょいちょいおかしくなるので数回生成しなおしました。

LTX 2.3の音声

上の動画の元です。

このようにLTX2.3単体で動画と音声の両方を生成できますが、日本語の上手な外国人がしゃべっている感じになりがち。

同じ台詞をプロンプトに渡していますが、Irodori-TTSでは「おじさ～～～ん？」くらいのんびり話すのに比べて、LTX2.3では「おじさん」と短く話すので、そのままでは口の開閉タイミングがズレてしまいます。最初の動画では編集ソフトで切り貼りすることで誤魔化していますが、完璧とは言い難い。

Irodori-TTSによる音声生成

Irodori-TTSは以前紹介したQwen-TTSと同じように、スタイルプロンプトを指定して好きな音声を作り出すことが出来ます。

今回の例ではスタイルプロンプトを「からかうような、ちょっと生意気な少女の声」に、テキストを「あれれぇ？おじさ～ん、どこ見てるのかなあ？🤭」という指定で生成しました。

そう、顔文字が使えるのが大きなポイントですね。👂を付ければ囁き声になるし、🥤を付ければゴックン音まで出せるのでNSFW用途でもかなり使いやすいです。

実施に生成した音声がこちらですが、LTX 2.3で生成された映像と合わせるために、ところどころ再生速度を1.1倍にしたりしているので、動画のほうではヘリウム吸ったような高い音声になってしまっています。まぁこのへんはAudacityとか使えば声の高さを変えずに速度調整できるのですが、面倒だったので手を抜きました。

ボツ：Wan2.1 Infinite Talk

Wan2.2で生成→InfiniteTalkでV2Vという流れで作った例ですが、3回試しても「おじさ～ん」部分がうまくリップシンクしなかったり、パンツの柄を変えてしまうのでボツにしました。

InfiniteTalkで生成された動画の音声部分をミュートにして、音声をカット＆ペーストで調整すればある程度誤魔化せそうだけど、面倒になったというのが本音。

字面だけだと想像しづらいかもですが、Wan2.2で動画生成（約190秒）→InfiniteTalk（約220秒）→アップスケール（90秒）→動画編集で音声のカット＆ペーストというように手順も多いし時間もかかるので、LTX 2.3での90秒一発生成に逃げた感じです。

今までLTX2しか試しておらず、2.3は使ったことなかったので試したかったという理由もある。

実際、LTX2のときはI2Vでも元の絵柄の保持が弱く、口だけアメコミ風の絵柄になったりしましたが、2.3ではだいぶマシになったように感じたので試して良かったです。

元絵

SDXLで膝を上げて座る少女を生成

QIE-2511で背景の階段を修正

QIE-2511で差分を生成

パンツにこだわりがあるので、まずパンツが描かれている絵を最初にSDXLで生成するのはマスト。動画は逆順で作る。

いつもどおりのやり方です。

感想

LTX 2.3は便利だけど、やはりアニメ系のNSFWはWan2.2で生成したい。

かといって、InfiniteTalkは時間かかるし、合わないことも多いし、結局、適当に口パクパクさせてるところに、音声側の長さを調整してつっこむのが現実的かなぁ。

おかしなところはカメラワークで口を映さないようにしたり。

ちょっと前に比べたら贅沢な悩みですけど、もう少し優秀なリップシンクの仕組みが欲しいですねー。

謝辞

オープンソースおよび生成モデルの制作者の皆さまに感謝します。

元絵生成

ComfyUI

Workflow:公式テンプレート

SDXL Model: マージモデル

LoRA: IL_cotton_panties

差分生成

Qwen-Image-Edit-2511 公式テンプレート

動画生成

Workflow: ComfyUI 公式テンプレート (LTX 2.3 FLF2V)

動画編集

Shotcut

ffmpeg

音声生成

Irodori-TTS