動画生成AIの比較ふたたび(Hunyuan Video / Wan2.1)
先日の「オープンソース動画生成AIのHunyuan VideoとWan 2.1で遊んでみた」で動画生成が楽しくなってきちゃったので、また遊んでみました。
元絵
今回は東北きりたん※の足コキ絵を動かせるか試してみました。
※ずんずんPJキャラクター利用のガイドライン
ひとつは1:1の正方形、もうひとつは16:9です。
よく考えたらAIが学習した対象データは16:9なのでは…? Stable Diffusionでは512x512がベースだったけど、動画生成AIは16:9のほうがミスが少なくなるのでは…?と気が付いて、途中から16:9に変えたので、別々の絵で出力となっています。
Hunyuan Videoで動画生成 (i2v)
12~13個くらいの512x512px動画を生成し、その中から良さげなのを3つピックアップしてひとつの動画に繋げました。
今回はBGMと音声も付けたので再生する際は注意。…といっても、あえぎ声などはありません。単なる台詞です。
Promptは「anime style,loli,footjob,jiggle,1penis,talking,blinking,pov」とかそんな感じ。あまりに動かな過ぎて最後のほうはswayingとかも入れてたかも。
FastVideoモデルを使っているためか、色彩が安定せず、3つのクリップを繋げるとウーンって感じですねぇ。
1つあたり3~4分で出力できるのは良いのですが、LoRAとか使わないと大きな動きは難しいのかなー。
Wan 2.1で動画生成 (i2v)
……………Wan 2.1すごくね?www
これよりもっと足をぱかぱか動かしたり、持ち上げたり、顔が迫ってくるような動画も生成されたのですが、そのときは1:1の正方形で生成したせいか、破綻がひどくてペニスと足が融合していたりしました。
軽い480pモデルを使っているので、832x480pxで生成したところ、上述のような感じに。
生成時間も15分くらいで済みました。
前回30分かかったのは何も考えずに768x768pxで生成してたからみたい。
720pだとかなり重くなるだろうから、832x480pxで生成してアップスケールするのが良さげかなぁ?
謝辞
OSS/各種素材の制作者の皆様に感謝します
[Tools]
Stable Diffusion (Model:WAI-NSFW-illustrious)
Hunyuan Video
Wan 2.1
Style-Bert-VITS2
[Voice]
東北きりたん様
[BGM]
BGMer様「どこへいこうか?」
まとめ
Hunyuan VideoもWan 2.1もtalkingを指定すると口をパクパク動かしてくれたので、これだけでも助かる場面あるなーと感じました。
音声と同期(リップシンク)させる機能はないので、解説動画に使うようなアバター作るならSadTalkerとかそれ系のAIツール使ったほうが良いと思いますが、えっちシーンで目パチ口パク付けるのが面倒だったので、そこに動画生成AI使えるなら楽できるなーと。ただ、色合いが変わってしまう問題があるし、blinkingはなかなか効いてくれないのでそのへんも追々調べましょうかね。
16:9の動画のほうが破綻が少ない…かも?というのと、832x480pxくらいならWan2.1でも15分くらいで生成できる、とわかったのも今回の実験の収穫でした。
















