pixivのお題「#翼」
手コキアニメーションのとき、指も動かせないかなぁーとちょっと試してみました。
画像加工とAIフレーム補間を組み合わせた手コキアニメーション
天使DEシコシコ。略して天シコ！
…うーん、まだぎこちない気がする。
謝辞
オープンソースソフトウェアの開発者および各種素材の制作者の皆さまに感謝します。
■使用ソフト
| Stable Diffusion WebUI Forge | ベース絵の出力 |
| GIMP | 切り抜き、回転加工 |
| Shotcut | 動画編集 |
| Google FILM | AIフレーム補間用 |
■使用モデル
https://huggingface.co/tsukihara/xl_model
https://civitai.com/models/257749/pony-diffusion-v6-xl
ベース絵
Prompt
source_anime,best quality,highres,ultra detailed,anime coloring,explicit_rating
,1girl (loli:1.2),very cute,small breasts,slim,bang,light purple hair,(large angel wing:1.3)
,naked,small nipples
Negative prompt: (worst quality,low quality:1.2),lowres,monochrome,bad anatomy,bad proportions,deformed anatomy,deformed fingers,source_pony,source_furry,source_cartoon,realistic,bad,ugly,jpeg artifacts,censored,@_@,distracted,western artist,extra digit
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 1623452592, Size: 1024x1024, Model hash: b6ce8a2bf8, Model: ebara_pony_1.bakedVAE, Denoising strength: 0.75, Clip skip: 2, Version: f0.0.17v1.8.0rc-latest-276-g29be1da7先にひたすら手コキアニメを作っていて、後付けでpixivのお題にあわせて「angel wing」を付け足しました。
既に作ってた絵を変換したので、loli:1.2とかangel wing:1.3とか強調して無理やり変換していますが、txt2imgの場合はこんなに強調しなくて大丈夫です。
AIフレーム補間の効果
指はGIMPで切り取り、回転ツールで角度を付けて9枚ほど差分を作りました。
ストローク分も含めてなので、最初の小指を動かすあたりが3枚、カリ首をいじるあたりがたったの2枚。
そのため、初回はこのとおり、非常にカクカクでした。
Google FILMのAIフレーム補間では透過情報を引き継ぐことができません。ぼくがやり方を知らないだけの可能性もありますが、オプション等を調べてもわかりませんでした。
そのため、最初は動画全体（約9秒）をGoogle FILMへほおりなげることで全体を高フレームレート化しました。
これはこれで良いのですが、9秒の動画（15fpsで作っているので約135枚）のフレームレートを4倍（60fps化）にするのにRTX4070で6分ほど。
うぅ～ん、一部修正するたびに6分待たされるのは嫌だな…ということで、小指を動かすカットシーンと、カリ首をコリコリするカットシーンだけ抽出して個別にフレーム補間することにしました。
そのため、シコシコストロークしているところはカクカクしたままになっています。
ちゃんとした作品作りたいときは全体にフレーム補間かけてしまったほうが良いのかも知れない。
