AIフレーム補間で三面図の回転と歩きアニメーションのテスト

AIフレーム補間を使った魔法少女変身の実験でAIによるフレーム補間が楽しくなってきたので、ちょっと三面図で遊んでみることにしました。

Stable Diffusionで三面図を出力

Stable DiffusionではPromptに three sided view や concept art のような文言を追加するとこのような三面図っぽい絵が出力されます。あくまで「ぽい」だけで全然正確ではなく、上図も100枚ほど出力した中から厳選した1枚です。3面じゃなくて4面じゃねーか、とか、足のリボンどこいったとか、いろいろツッコミどころはありますが、テストなのでご容赦を。

三面図を分割し、Google FILMでフレーム補間

…きんもー♪

同じ機能を使い、角度の違うガンダムの写真2枚からぬるぬる動く動画を出しているブログ^※を見かけたのでもう少しマシな結果を期待したのですが、スカートたくし上げよりひどい結果となりました。
※https://farml1.com/film/

学習モデルが実写と無機物に特化してるのかな？　いや、そもそも正面から10～20度くらいの動きで試している方が多いようなので、今回のような90度は無茶なのでしょう。

こりゃ失敗だなぁ、とリピート再生しながら眺めていたところ、ふと足は案外綺麗じゃね？と感じました。下半身だけ集中して見れば回転してるように見えなくもない。

それなら歩くモーションはどうだろうか？

Stable Diffusionで歩き絵を出してみる

出力するのは左の1枚だけ。差分をInpaintでガチャしても良いのですが、たぶん100枚200枚程度じゃ済まない試行回数が必要になりそうなので、ここは素直に画像加工しました。GIMPで下半身選択して鏡面反転しただけ。

ついでに歩いてる最中、上半身が微動だにしないと不自然なので、2枚目だけワープ変形で顔／髪／腕をわずかにずらしています。

歩き絵2枚をAIフレーム補間で合成

…あら？　こちらはなかなかじゃないですか？

鏡面反転という手抜きをしたせいで足がガニ股になってるところは何卒ご容赦を。

楽しくなってきたので遠くから歩かせてみた

一応音声注意。

ゆっくり、じっくり、ねっとりとスカートをたくし上げる場面^※では破綻が目立つけれど、こうガバっと一瞬しか動きを見せない場面では案外使えそうに感じました。

AIフレーム補間もStable Diffusionと同じく学習モデル次第でもっともっと化けそうな気がしました。5000兆年未来のAIが見たい。

使用ソフト

オープンソースソフトウェアの開発者の皆さまに感謝します。

使用素材

フリー素材の提供者の皆さまに感謝します。

自作フリー素材

ご自由にお使いください。クレジット表記等不要。

足音

※録音方法：スマホの画面を爪でカツカツ叩いて録音

衣擦れ

※録音方法：ポリエステル製のシーツ同士をさすさす

まとめ

いや～ん（棒）