15分でLoRA学習してキャラクターの一貫性を保った動画を作る

解説と資料

2026/06/21

今まで面倒くさがって避けてきたLoRA作成ですが、動画を作る際にどうしてもキャラクターの一貫性が必要になるため、重い腰を上げてチャレンジしてみました。

ChatGPTに聞いたら「RTX4070ならkohya_ss使って20分くらいでLoRA作成できるよ」と教えてもらったのも大きな理由のひとつ。…キャラLoRAの作成って、丸一日GPUぶんまわさないといけないのかと思ってた。

まず、このLoRA作成により、どんな動画が作れるようになったのか実例を掲載します。

野良のメスガキがあらわれた

音声ナシ

大した動画ではないのですが、しゃがみシーンから立ち上がってこちらに歩いてくるだけでも何も考えずに作ると普通は破綻します。

なぜなら最初のシーンがしゃがみ姿勢のため、Tシャツの柄が全ては映っておらず、Wan2.2は推測で描写し、高確率でハート柄以外になるからです。

破綻を避けるには、立ち絵としゃがみ絵の2つ用意する必要があり、今まではSDXL(Illustrious)で立ち絵生成→QIE-2511でしゃがみ絵を生成していました。

そこから更に騎乗位のようにまたがる絵を用意しようとすると難易度が跳ね上がります。

QIE-2511ではNSFWが出せないため、AIO版を使うとして、それでもポーズや構図を大きく変えるとキャラクターの一貫性が保てなくなります。目が大きくなったり、QIEが学習している絵柄で補完しようとするからです。

つまり、結局のところ、さまざまなポーズ、特にえっちな体位のシーンに移っても大きくキャラクターの特徴を変えないためにはキャラクターLoRAを作るしかない、と考えました。

教師画像はQIEのMultiangle LoRAで生成

まずはSDXL(Illustrious系)で一貫性を保ちたいキャラクターの立ち絵を1枚だけ生成。

教師画像は 1024x1024px で作るものと思っていたのですが、縦長でも構わんと聞いたので、今回は 832x1216px で作りました。

1girl,loli,
pink short hair, dip-dyed yellow tips, one side up,
jitome, purple eyes,
white oversized t-shirt with heart shape, black shoulder straps visible under shirt,
small pouch, cat hair accessories,pink skirt,
mismatched socks, black socks with heart shape, pink socks with star shape
standing,full body,lightgray background

次にその立ち絵を基に、QIE-2511のMultiangle LoRAで8方向から見た教師画像を作成。

これに加えて、上半身が大きく写っている絵と、下半身が大きく写っている絵を用意。

立ち絵を切り取って上下に分けてアップスケールすれば良いかと思ったのですが、上半身はそれでも良いけど、下半身は顔も入っているほうが望ましい、ということなのでこんな感じ。

そんな絵作るのむずいよ！という場合は、まず最初の8枚だけでLoRA作っちゃうのもアリ。実際ぼくは上の8枚だけでLoRA作った後に、そのLoRAを使って下2枚を作り、再度LoRAを作成しなおしました。

captionファイルの作成

教師画像を01.webp～10.webpまで10枚作ったとしたら、その画像を説明するためのcaptionファイル（テキストファイル）も01.txt～10.txtというように10個必要です。

要は1girlとかpink hairとかのタグですが、WD1.4 Taggerなどで画像からタグを抽出してcaptionファイルを自動作成する方法もある模様。

しかし今回は、トリガーワードで一貫したキャラクターを呼び出したいという理由でLoRAを作るため、01.txt～10.txtまで中身は全部 pink_char にしました。

…単に面倒くさがっただけとも言います。

kohya_ssのインストール

C:\home 以下に作る前提で解説。

# kohya_ssのインストール
cd C:\home
git clone https://github.com/bmaltais/kohya_ss.git
cd kohya_ss
setup.bat

ありがたいことに、git cloneしてsetup.batを叩くだけでセットアップがはじまります。

ただ、どえらい注意点があって、Pythonは3.10か3.11が入っている必要があり、Python 3.12だと100％失敗します。

ぼくはこれでハマりました。仕方なくPython 3.11を入れなおしたのですが、そうするとPython 3.12でvenvコンテナ作ったComfyUIは起動しなくなるわけで、ComfyUIまでインストールしなおすハメに…。

ともあれ、setup.batが正常に起動したら、下記のようなメニューが表示されるはずです。

Kohya_ss setup menu:

1. Install kohya_ss GUI
2. (Optional) Install CuDNN files (to use the latest supported CuDNN version)
3. (DANGER) Install Triton 2.1.0 for Windows... only do it if you know you need it... might break training...
4. (Optional) Install specific version of bitsandbytes
5. (Optional) Manually configure Accelerate
6. (Optional) Launch Kohya_ss GUI in browser
7. Exit Setup

Select an option:

ここで1を入力して[Enter]でインストール開始。たぶん30分以上かかります。

一見フリーズしたかと思うほどコマンドプロンプトの動きがないことがありますが、辛抱強く待ちましょう。

インストールが終わったら、kohya_ssディレクトリ直下にある gui.bat で見慣れた gradio UI のWebページが出るはずです。

LoRA設定に必要なのは7項目程度

画面を開くと設定項目の多さに面喰いますが、最低限入力しなければならない項目は7個程度。まずは画面上部のLoRAタブを開き、下記のように設定します。

Pretrained model name or path: 生成に使うモデルを指定(wai-illustrious等)
Trained Model output name: pink_char
Image folder (containing training images subfolders): C:/home/kohya_ss/training_data
Output directory for trained model: C:/home/kohya_ss/outputs
Epoch: 10
Network Rank (Dimension): 32
Network Alpha: 16

うちの場合はマージモデルを使うため、kohya_ss/models の下にモデルファイルを置き、Pretrained model nameに指定しました。

Image folderは教師画像を置くフォルダーで、kohya_ssの下にtraining_dataというフォルダーを作成したのでそれを指定。

更に、training_dataの下に 10_pink_char というフォルダーを作成し、中に10個の教師画像と、10個のcaptionファイル(.txt)を配置

フォルダー名の頭の10はリピート回数の指定…らしい。1枚につき10回ずつ学習する、みたいな。なんでそんなことするのかよくわからないけど、そのほうが出現率が上がるとかなんとか。

Epochが学習全体の回数でデフォルトは1だけど、それだとあんま覚えてくれないのでキャラクターLoRAの場合は7～10くらいを指定する…らしい。

Network RankとAlphaは一番重要そうで、この数値次第で過学習かどうかが決まる…らしい。

一般的にRankの数値の半分をAlphaにするとか。だからここでは32と16を設定したわけですが、正直これは大きすぎたかも。

おかげでpink_charというトリガーワードを指定するだけで、学習に使ったキャラクターがサクっと登場するようになったけど、ほかのPromptがすんごく効きづらい。

具体的には skirt lift がとっても効きづらかったです。

illustrious系の派生モデルなら、skirt liftを指定するだけでばんばんスカートめくってパンツ見せてくれると思うけど、pink_char LoRA使ったとたん、なっかなかめくってくれなくて、(skirt lift:1.5)くらいまで強調してようやくめくってくれた。

あるいは pink char LoRA の強度を1.0から0.8とかに落とすことでも多少プロンプトが効くようになりました。これが世間で言われる過学習ってやつなのかも。

次作るときはRank/Alphaの数値を16/8とか半分くらいにしようと思いました。

ともあれ、7項目の入力をしたら、画面下のほうにあるオレンジ色のボタン [Start training] をポチっと押すだけ。

RTX4070 12GBの環境ですが、教師データが10枚と少ないこともあり、15分程度でLoRAファイルが完成しました。

…お手軽すぎだろ！

絵コンテの作成

pink_char LoRAが作成できたことで、pink_char,squatting / pink_char,leaning forward,cowboy shot / pink_char,skirt lift,close-up / pink_char,straddle,pov みたいな指定でサクサク違うポーズが出せるようになりました。