BGMに合わせて動くAIイラストpart4 ボーカル抽出とダブル口パク
前回の記事で、主旋律の抽出は研究者でも難しい、みたいなことを書いたのに舌の根も乾かないうちにひっくり返しますが、ヴォーカル抽出、出来ました。
何もぼくがすんごい技術持ってるとかでは全然なく、まさかのこれもAI…。AI…というか、ディープラーニングが革新的な技術なのだと思いますが、学習モデルを使って楽曲内のドラム、ベース、ヴォーカル、その他を抽出しちゃうオープンソースソフトウェア、Demucs-Guiというのがありました。
https://github.com/CarlGao4/Demucs-Gui
早速使ってみましたが、これスゲーわ。GPUないと厳しいらしいですが、うちのRTX4070でほんの10秒もかからないくらいで2分の音楽ファイルから音声分離できちゃいました。ヴォーカルが抽出できちゃえば、元の楽曲と同時再生して口パクがかなり正確にできるはず。
良さげなフリー楽曲DLしたらコーラスだったので泣きながら2人作ってみた
使用素材
フリー素材の提供に感謝します。
こちらのサイト、造語ボーカルの歌ものフリー素材が多くて面白いんだけど、そういうの作るソフトがあるのかしら？
ほんのり技術解説
見ればわかると思いますが、桃色のビジュアライザー（グラフ）が楽曲全体、赤色がボイスです。
ボーカルを別ファイルとして抽出して裏で同時再生してるので、口を開くか開かないか、の判定については間違えようがありません。
ということで、せっかくなので高域と低域で切り分けして、なんとなーく、二人の娘が別々に歌っているようにしてみました。
ふたりの口パクの動作、若干怪しいところもあるけど、パッと見はけっこう良い出来なんじゃないかしら。
スプライトアニメーション、X軸、Y軸、角度に加えて今回はズームも入れてますが、基本プログラムはほとんど変わっておらず、キーフレームのように動きの設定はしていません。全ては音楽の周波数に合わせていて、ビートを感じたらアニメーションが早くなり、右へ行ったり左へ行ったり。音圧が上がってきたら動きが活発になり、声がハモったら迫ってくる、そんな感じです。
惜しむらくは、今回のプログラムは音声分離前提なので、今までのようにローカルファイルを自由に差し替えてもらうのは難しいってところですかね。
いつか個人利用のレンタルサーバー程度でもGPU使ってディープラーニングできるような時代がきたら、ユーザーがアップした楽曲を即解析して歌い始めることも可能でしょう。早くそんな時代こないかなぁ、ワクワクするなぁ！
当初計画していた音楽ファイルぽいっとほおりなげたら勝手に歌ってくれるAIイラスト、みたいなコンセプトからは脱線しましたが、かわいいからOKOK。
ベース絵
Prompt
highres,ultra detailed eyes
,2cute girls,fairy,skirt,(white panties:0.8)
,dancing
,full body
,(simple white flat background:1.4)
Negative prompt: (worst quality, low quality:1.2),monochrome,lowres,bad anatomy,sketch,watermark,split view,grid view,multiple angle,bad hands,missing finger,extra finger,liquid finger,blur,missing limb,extra limbs,extra digit,fewer digit,speech bubble,cry,sad,tear
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 2416993644, Size: 512x512, Model hash: 6df59b69e0, Model: kaywaii_v65, Clip skip: 2, Version: v1.6.0-2-g4afaaf8afairy指定したけど、二人両方に妖精の羽生やすのは難しくて断念したよ…。
まとめ
今回のコーディングもすっげー楽しかった！！
次は何作ろっかなぁ。
