音声に合わせてパイズリの速度が変わるシステム

2024/06/21

以前から「BGMに合わせて動くAIイラストpart4 ボーカル抽出とダブル口パク」等、リズムに合わせてAIイラストを雑に動かす処理はしてきました。

元々は口パクでWebAudioAPIを使った際に、BGMもイケるじゃん！と脱線した成果物ですが、この時点で、音に合わせてセックスモーションもできるなーと妄想しておりました。

しかし、まず「ぱん！ぱん！ぱん！」という打ち付ける効果音は自宅録音なので品質がよくないし、リズムを変えた音作るのも面倒だからまぁいっかと放置していたわけですが、昨日の記事「AnneliとAnneli-nsfwをマージしたささやき声を作ってみた」で、吐息音声がいくらでも作れるようになりました。

じゃあ、吐息のリズムに合わせてパイズリしてくれるシステムを作ってみっか、と思いついてやってみました。

音声に合わせてパイズリ速度が変わるシステム

サンプル音声クチュ音

吐息と音声

手持ちの音声を再生

※音声ファイルを選択と同時に再生されるため注意

Setting 画像の入れ替え

※複数の画像を選択するとアニメーションになります

う、うーん、なんか惜しい。

半日あれこれ試行錯誤したのですが、根本的な勘違いをしていました。

音楽の場合は、音域が増えることで雑に盛り上がりと判定したり、ボイス部分だけ抜き出すことで口パクを再現しましたが、吐息とはなんぞや…という疑問にぶち当たりました。

「はああああ」と長い吐息と、「はっ！はっ！はっ！」なら、当然後者のほうが激しく動いていると判定したいとこなのですが、スペクトル的には前者のほうが盛り上がっているため、ゆっくりとした吐息のときにガンガン動いてしまいます。

なんやかんや失敗を重ねて、最終的には、音声再生中に常に最大音量を検出し、最大値の40％以上を検出したらアニメーション速度を速める、という雑of雑な処理になってしまいました…。

実験中はもっとひどい状況だったので、上のシステムはこれでもまだマシなほうなんです。

録画機能も付けて、えっちなショートアニメ制作に役立てるつもりでしたが、実用にはもうちょい試行錯誤が必要そうだなぁ。

もうひとつ考えていたのは、マウスクリックでクチュ音を鳴らしつつアニメーションの速度を調整しながら録画するシステムで、そっちのほうが実用的だとは思うのですが、随分前に作った「AIイラストとJavaScriptでヌキゲーを作ろう」と同じことの繰り返しなので、微妙にやる気が出ません。

オープンソースソフトウェアの開発者および各種素材の制作者の皆さまに感謝します。