エロ話を垂れ流すブログ。18歳未満閲覧禁止。
当サイトの記事にはアフィリエイト広告のリンクが含まれる場合があります

AnimaFastTrainで参照画像から同じキャラクターを量産する

ちょいちょい勉強させてもらっている混合順さんのnoteでAnimaFastTrainという面白そうなノードが紹介されていたので試してみました。
参考記事:https://note.com/kongo_jun/n/n3d4c6c623d25

参照画像をその場で軽く学習して画像生成するのだそうです。

AnimaFastTrainの実行結果

ワークフローは上のnote記事掲載のものをお借りしました。モデルはanima-base v1.0ではなく、waiANIMA_v10Base10を使用。

教師画像

3枚指定できるワークフローだったので、全身の絵、上半身アップ、下半身アップの3枚をセット。

生成された画像

Tシャツのハート柄が白抜きではなく、ベタ塗りになりがちなのと、ネコのヘアピンの数が合わなかったりするのは普通のLoRAを使っても同じなので、たった3枚のわりによく真似ているなという印象。

実行環境と速度

Windows 11 Pro / メインメモリ64GB / GPU:RTX 4070 12GB
Python version: 3.11.9 / pytorch version: 2.12.1+cu130
sage-attention / triton-windows導入済

初回実行時、約125秒。2回目以降は学習部分をスキップするためか、24~26秒。

高速化LoRAを入れない普通のAnimaの実行速度ですね。おそらく高速化LoRA入れても動くと思います。

125秒で速習するの普通にすごくない…? どうせなら一時LoRAではなく、LoRAファイルも出力してほしいくらいなのだが…

AnimaFastTrain使って教師画像増やして本格的なLoRA作るのもアリだと思いました。

AnimaFastTrain実行時のエラーについて

実は普段の起動オプションではAnimaFastTrainが動作しなかったので、同じようなエラーで困っている方のために記録を残しておきます。

ぼくの普段のComfyUI起動オプションはこちら:

python ComfyUI\main.py --use-sage-attention --enable-manager

ケース1:[ERROR] Error running sage attention

ComfyUIの起動オプション:

python ComfyUI\main.py --use-sage-attention --enable-manager

AnimaFastTrainのワークフローを実行すると下記エラーが出てComfyUI自体が落ちます。

[ERROR] Error running sage attention: Input tensors must be in dtype of torch.float16 or torch.bfloat16, using pytorch attention instead.
↑この行が大量、そして最後に↓のエラー
Unhandled exception caught in c10/util/AbortHandler.h

ケース2:Unhandled exception caught in c10/util/AbortHandler.h

ComfyUIの起動オプション:

python ComfyUI\main.py --enable-manager
※--use-sage-attentionを外しただけ

AnimaFastTrainのワークフローを実行すると下記エラーが出てComfyUI自体が落ちる

Unhandled exception caught in c10/util/AbortHandler.h

ケース3:問題なく起動する

ComfyUIの起動オプション:

python ComfyUI\main.py --force-fp16 --enable-manager

AnimaFastTrainを含むワークフロー全体の実行に約125秒。2回目以降の実行が学習処理がスキップされるのか、約26秒。

3枚の参照画像はちゃんと学習されているようで、似たようなキャラクターが生成されることを確認。

AnimaFastTrainが落ちる理由のまとめ

--force-fp16を付けないとどうやってもAnimaFastTrainが動かない。

ChatGPT等に聞いて、--disable-smart-memory、--gpu-only、--no-chace等の組み合わせを試したけれど、いずれも動作せず。

最初に試したのが --force-fp16と --gpu-only の組み合わせで、これが約440秒かかるものの普通に動いてしまったので、検証に無駄に時間がかかりました。

結論としては--force-fp16さえ付いていれば、うちの環境では問題なく動作し、なんなら --use-sage-attentionが付いていても、

[ERROR] Error running sage attention: Input tensors must be in dtype of torch.float16 or torch.bfloat16, using pytorch attention instead.

は表示されるものの、ワークフローの実行は最後まで完了して、絵も正常に生成されます。

実行時間は初回約125秒というのは変わらず、2回目以降は約24秒で、--use-sage-attentionを付けないときより1~2秒早くなることを確認。

テストは10枚ずつ程度生成しただけなので誤差の範囲かも知れない点は注意。

--use-sage-attentionと--force-fp16のオプションを付けたままでも、SDXL(Illustrious)やAnimaの静止画生成、およびWan2.2の動画生成に影響はありませんでした。

参考までに、うちでの実測の実行時間を掲載しておきます。

  • SDXL+高速化LoRA、Step4、cfg1、1024x1024で初回生成4秒、2回目以降1.8秒。
  • Anima+高速化LoRA、Step4、cfg1、1024x1024で初回6秒、2回目以降2.3秒。
  • Wan2.2+高速化LoRA、Step4、cfg1、1024x1024の33fで初回131秒、2回目以降119秒。

この実行速度と実行結果の絵や動画は、--force-fp16あり/なしでどちらも違いがわからなかったので、このオプションは付けっぱなしでも問題ないかなーと個人的には判断しています。

以上、AnimaFastTrainを実行するとComfyUIが落ちて困っている人の参考になれば幸いです。

…あ、ちなみに、AnimaFastTrainのtraining_dtypeをbf16からfp16へ変更するだけでも実行は可能ですが、品質がとんでもなく劣化するのでおすすめしません。似た服を着た別人化しました。

PR

関連記事

LTX2.3-10Eros v1.2とWan2.2蒸留モデルとの比較

LTXなのにエロ動画が生成できるぞー!と噂の(?) LTX2.3-10Eros で動画生成したので、Wan2.2蒸留モデルとの比較をしてみました。 生成環境はメインメモリ64GB、GPUはRTX

LTX2.3とIrodori-TTSでリップシンクテスト

先日、コメント欄でLTX2.3やIrodori-TTSの話題があり、久しぶりに音声生成したくなったので、LTX2.3でパンチラ動画作りつつ、音声も入れてみました。 LTX2.3で変な音声のまま動

Wan2.2で騎乗位中出しテスト

WanでPOV視点での中出しの表現がうまくできず、どうしてもペニス抜いて膣外射精になってしまう、という相談コメントを頂いたので試してみました。 騎乗位中出しテスト1 (NSFW LoRA +

コメント

  • 私も試してみましたー。ただ私の環境だと全然効かない・・・どこかミスってるかも(汗)
    ただジジさんのを見た感じ、細かい部分は結構変わるみたい(3枚だから当たり前だとは思いますが)なので、細部の整合性も取りたいなら素直にLORA作れってことかもしれません
    [返信]
    • AnimaFastTrain側にもプロンプトがあって、デフォルトだと「white background」が入っているのですが、うちの教師画像は背景が灰色だったので、これを「lightgray background」にしないと効きませんでした。
      とはいえ、こしぱんさんのおっしゃるとおり、細部がけっこう変わるので、結局微調整が必要なんですよねー。

      ちょっと話逸れますが、FastWan-QADというRTX 4090で480p・5秒の動画をわずか3.4秒で生成可能というとんでもモデルが登場したので、動画ガチャが捗るかも知れません。
      https://gigazine.net/news/20260624-fastwan-qad-video-generation-ai/

      まだdiffusersモデルしかないので、Kijai氏の対応が待たれますが、早く使ってみたいものです。

      Wan2.1ベースなのであまり期待し過ぎてもいけませんが、QIE-2511であれこれ角度変えるよりも、ぐるっと一回転する動画をちょっぱやで生成させてしまい、必要なところだけi2iで清書するといった使い方もアリになるかも知れません。

      次から次へと新しい技術が出てきて追いきれませんな!
      [返信]

新しいコメントを投稿する

[新規投稿]
 
TOP