BGMに合わせて動くAIイラストpart3

AIイラストと音楽

2023/11/18

AIイラストをBGMに合わせてぴょんぴょん動かすテスト第3弾。

変更点

周波数解析の幅を256分割から1024分割へ変更
audioタグに対応し、シークバー等のブラウザ基本機能も使えるように修正
盛り上がり判定を追加し、判定基準に合った場合は絵と動きを切り替える仕組みを追加

FunnyPoppin

怪しいサーカスのテーマ

ローカルファイルの再生

Option1 ビート判定ビート感知範囲:500/1024
※左に行くほど低い周波数のみに反応。一番右は全域反応。
ビート感知間隔:6フレーム毎
※ビートを感知する感覚。60フレームで1秒毎。
しきい値:1.02倍
※ビートと判断する閾値

Option2 盛り上がり判定しきい値:1.2倍
※盛り上がりと判断する閾値（120フレームごとにそれまでの平均音量と比較）
感知範囲:～
※判定時に参照する周波数範囲(0～1024)

使用素材

BGM1: 創作堂さくら紅葉様、FunnyPoppin

BGM2: PeriTune様、怪しいサーカスのテーマ

フリー素材の提供者の皆さまに感謝します。

ちょっぴり技術的な話

若い頃にプログラミングと音楽の基礎の基礎を教えてもらった師匠がいるのですが、えっちな絵動かすプログラムの相談するの恥ずかしいなーとずっと躊躇してました。

でも、16bitセンセーションというアニメを見ながらよくよく思い出してみたら、ランスとか同級生のPC98エロゲ教えてくれたの師匠だったわ。むしろわいのエロの原点は師匠だわ。

そう気が付いたのでさっそく「リズムと主旋律の判定できないっすかねー？」とこのプログラムをメールで送ったら、すぐに電話がかかってきました。

「君がやろうとしてることは君が想像してる以上に難しいことだよｗｗｗ」

と大笑いされました。かわいい女の子を動かしたいだけなのに？！とぼくも一緒に大笑いしました。

2時間以上話し込んだので詳細は端折りますが、周波数と音域は似て非なるものであること、周波数と倍音の仕組み、主旋律を抜き取るのがどれほど困難な作業で、世界中のえらい研究者が挑戦してるけど完璧なものはまだ出来上がっていないことなど、これお金払わないとダメなんじゃね？レベルの講義をして頂きました。

基礎講座が終わった後、いくつかアドバイスを頂きました。「私がやるならキックの音を取るだろうねー」「40hzとか100hz付近の音」「ただ、普通はコンプかけて量感増やすし、抜け感を出すために素材変えたりしてるから、もっと上の周波数にも影響することが多い」「1つの領域にこだわらないで、複数個所ピックアップすればもうちょいリズムよくぴょんぴょんさせられるはずだよ」

いやぁ、持つべきものは弟子の変態性を理解してくれる師匠っすね。

今さっき電話し終わったばかりなので、今回のプログラムには反映させられませんでしたが、次は師匠のアドバイスを基にもうちょい改良しようと思います。

ベース絵

Prompt

highres
,1cute girl,two side up,half closed eyes
,dancing
,simple white background

Negative prompt: (worst quality, low quality:1.2),monochrome,lowres,bad anatomy,sketch,watermark,split view,grid view,multiple angle,two shot,bad hands,missing finger,extra finger,liquid finger,blur,missing limb,extra limbs,extra digit,fewer digit,speech bubble,cry,sad,tear
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 700743068, Size: 512x512, Model hash: 6df59b69e0, Model: kaywaii_v65, Clip skip: 2, ControlNet 0: "Module: reference_only, Model: None, Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Threshold A: 0.5, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced", Version: v1.6.0-2-g4afaaf8a