EasyWanVideoのVi2Vで遊んでみる

EasyWanVideoにVi2vのワークフローが追加されていたので、早速試してみました。

1つの動画と静止画を元にあらたな動画を生成する機能らしいです。

まず最初に思い出したのは一昨年前くらいに見て失望したダンス動画です。実際のダンスを動画撮影してそれを1枚1枚AI絵に変換して動画化するアレです。毎フレームごとに洋服も背景も変わっていくギャグ動画。

しかしこれまでWanVideoを触ってきて、背景とキャラクター、髪の毛、腕の位置などを把握して動かす空間認識性能や、見えない部分まで予測する能力に心底感心しているため今回は期待してしまいます。

なにより、v2vではなく、vi2vということで1枚の静止画を元にするから動画用にモデルを用意しなくて良いという点も素晴らしい。

相変わらずZuntan様のチュートリアルも充実しているため、特に悩むことなくサクっと動かすことが出来ました。

元となる動画を用意

まず、モーションを参考にするための動画を用意する必要があります。

長辺が512px～1024px、16fpsで81フレームという条件に近いほど品質が高まるとのことなので、OBS Studioで3Dエロゲーのエロシーンを録画し、1024x1024px 16fps 5秒に調整しました。

秘蔵のAVやエロアニメでも良いのですがブログにアップできねーわ、と思ったためです。

3Dエロゲー（コイカツ）のエロシーン

EasyWanVideoのVideoToolというフォルダに動画の再生速度を変えたり、16fps化するバッチファイルを用意してくださっているようですが、自分はShotcutの操作に慣れているため、そちらで調整しました。

参照用の画像を用意

開始画像（元動画の1フレーム目）と同様の構図の絵を出す必要があるため、上述のコイカツのエロシーンをスクショしてi2iしました。

チュートリアルではControlNetとAnyTestでのinpaintがオススメされておりますし、様々なところでAnyTestは優秀と聞くのですが、ぼくはイマイチ使いこなせません。

結局いつもどおりGIMPでササっと軽く髪の毛とか塗ってi2iしました。

EasyWanVideoのVi2Vワークフローで動画生成

先ほど作った動画と静止画をワークフローにドラッグ＆ドロップして、[実行]をポチっと押したら120～160秒（RTX4070）で完成。

デフォルトで画像からプロンプト生成するオプションが有効になっているのでPromptは空欄でもOK。

おもろーｗｗｗ

既存の動画にフィルターをかけるのと違って、モーションが微妙に異なるのがおもしろいですし、もっと元動画の要素が残るものかと思いましたが、そんなこと全然ありませんね。あくまで静止画側がメインで、動画のほうは動きだけ参照しているように見えます。こんなことが可能なんだなぁ…。

そしてi2vより圧倒的に早いのがとても意外なんですよねー。

ポチっと実行ボタン押してスーパーへ買い物に行き帰ってきたら20本くらい出来上がっておりました。

中には手の形がグチャったり、ちんちん取れてる動画もありましたが、そもそも元の動画の時点で手の形おかしいんですよ。低ポリゴンだし、自由に身長変更できるから手がペニスを貫通していたり。

なので、実写映像あるいはエロアニメを元にしたらもっと打率あがるんじゃないかなー？

i2vでも生成してみる

せっかく1枚絵があるので、i2vでも生成してみました。

Prompt:

The man is lying and lifting his hips.
The young girl gives a one-handed job. She is holding and stroking his penis back and forth with her one hand.
The overall image is intimate.
The image is an anime-style illustration.

i2vのほうが元絵に近くて良いじゃん、と感じる人もいるかも。

i2vで全部希望どおりのモーションが出せるならきっとそのほうが良いのだろうと思います。

しかしこれ、civitaiにあるHandjob LoRA使って20個くらい（約1時間40分）生成してようやくできた1個なんですよねー。残り19個は男の足が腕に変化して手コキするような奇形アニメばかりでした。

i2vの画質は良いですが、WanVideoが学習しているモーションか、あるいはLoRAとの相性がバチっと決まらないとなかなか好みの動きにならないように感じています。

vi2vの感想

予想してたよりずっと実用的かも。

v2vは実写映像にアニメフィルターかけるのと何が違うの…くらいに思っていましたが、少なくともvi2vに関しては毎回動きが微妙に異なるんですよね。

それに特定の動画用モデルを使うわけではなく、静止画を持ってくるからかなり元絵に寄せてくれるのも大きい。

秘蔵のAVやエロアニメからお気に入りのモーションを持ってきて生成するのも面白いだろうし、MMDなどは紳士向けのモーションがたくさん配布されているので、自分で3D映像を作って、それをvi2vに通すのもかなり良いんじゃないかな？

ぼくはMMD大好きだし、3Dエロゲーも好きだけど、ポリゴンで出来たパンツのカクカク感が嫌！

次はどんな映像をvi2vしようか既にワクワクしています。

Wan2.1が発表されてからわずか1か月でこの状況。

今年はローカルの動画生成AIが爆発的に発展する年になりそう。

謝辞

オープンソースおよび生成モデルの制作者の皆さまに感謝します。

元絵生成：
Stable Diffusion webui reForge
Model:WAI-NSFW-illustrious-SDXL v9.0

動画生成：
EasyWanVideo

録画および動画編集：
OBS Studio
Shotcut