AudioCraftでえっちな効果音を出す実験

2024/06/08

前回の「Stable Audio Open 1.0でえっちな効果音を出す実験」で、これは普通に実用的なのでは？と感じさせられたAI効果音。

しかし、どうしてもライセンスまわりが気になるため、そのへんがゆるそうなAudioCraftで同じようなことをしてみました。実は発表直後に即試してこりゃあかんと投げ捨てていたのですが、それはBGMがアレでソレだっただけで、効果音については一切試してなかったんですよね。

というわけで、あらためてえっちな効果音を出す実験いってみよー。

AudioCraftで生成した効果音

はぁはぁする吐息
Prompt: girl,long breath in,loop

Prompt: girl,long breathe in and out,loop

音質わっるー…。

Stable Audio Open 1.0ではgirl,breathだけで、いきなりドキッとするような吐息が出ましたが、AudioCraftでは音質の悪さに加えて、「はぁー」と短く息をつくだけの声が多かったので、loopを入れたり、slow tempoを入れたり、exhale指定したりアレコレ試行錯誤しましたが、long breath inが安定するような気がしました。

ぱん！ぱん！ぱん！
Prompt: solo,body clap,very slow tempo,loop

こちらも音質微妙ですが、ちょっと加工すれば十分使えそうです。Stable Audio Open 1.0と同じく、soloを付けなかったり、tempo指定を早くしちゃうと、普通のノリノリのボディーパーカッションミュージックになります。…いや本来それが正しいのだろうけども。

咀嚼音
Prompt: chewing sound

licking（舐める）音が出せなかったので、咀嚼音を生成しましたが、びみょー。もちろん何か食べてるシーンでは良さそうだけど、硬い物サクサク食べてる感じ。

wetやwater、drinkあたり指定してみたけど、良い感じのちゅぱ音は出せませんでした。

水音
Prompt: water drops

rain指定だとザァァァーー！と豪雨の音になりがちですが、water dropsなら、ちょろちょろした音になることがわかりました。おしっこシーンで使えそうですが、ちょうど今回温泉シーンを作る予定があったので、そこで使ってみました。

アニメーションに効果音だけ付けてみた例

音だけではピンとこない方向けに実例。

吐息なんて誰が出しても同じでは？くらいに思っててごめんなさい。なんか、ちょっと声が低いというか、ロリっ子がはぁはぁしてる感じに聞こえないっすね。

水音は残響加工することで、温泉の音っぽくなった気がします。くちゅ音はAIでは出せなかったので以前自宅録音したヤツです。

ぼくもエロゲマニアなので、おっさん由来の音を異常に嫌がるオタク（と書いて同志と読む）の存在をよく存じ上げております。なので、新品オナホにローションを入れてクチュクチュ擦った音を録音しました。

せっかくシナリオもイラストも音声もAIで作れるようになったのだから効果音もAI活用していきたいところ。

例のあえぎ声が出せるAI音声、Anneli-nsfwの制作者様が笑い声とくちゅ音に対応したコーパスを制作中という噂を見かけたので、正座しながら全裸待機したいと思います。

AudioCraftのインストール方法

探せば詳しく解説してるページあるだろうから、サラっと。

AudioCraft出たばかりのころはgitページの説明がconda前提だったし、間違ってる部分もあって阿鼻叫喚でしたが、今はpipでのインストール方法が書かれているので、AI触ってる方なら特に問題ないかと。

尚、ぼくはWindows環境のことしかわかりません。

前提条件

gitがインストール済
Python 3.10.14がインストール済
nVidiaのCUDA Toolkit 12.5がインストール済

※忍耐力があるなら、GPUなしでCPUだけでAI音声を生成することは可能です。5秒の音声生成に、およそ5分くらいです。

venvでAudioCraftをインストール

git clone https://github.com/facebookresearch/audiocraft
cd audiocraft
python -m venv venv
venv\Scripts\activate.bat
pip install --upgrade pip
pip install torch==2.1.0
pip install setuptools wheel
pip install -U git+https://[email protected]/facebookresearch/audiocraft#egg=audiocraft
pip install -e .

インストールが終わったら、「python demos\musicgen_app.py」でwebuiサーバーが起動するので、Stable Diffusionと同じくブラウザで操作できます。

しかし、効果音用のAudioGenにはUIがなかったのでサンプルのPythonスクリプトを使いました。

import torchaudio
from audiocraft.models import AudioGen
from audiocraft.data.audio import audio_write

model = AudioGen.get_pretrained('facebook/audiogen-medium')
model.set_generation_params(duration=5)  # generate 5 seconds.
descriptions = ['dog barking', 'sirene of an emergency vehicle', 'footsteps in a corridor']
wav = model.generate(descriptions)  # generates 3 samples.

for idx, one_wav in enumerate(wav):
    # Will save under {idx}.wav, with loudness normalization at -14 db LUFS.
    audio_write(f'{idx}', one_wav.cpu(), model.sample_rate, strategy="loudness", loudness_compressor=True)

サンプルコードでは3つのプロンプト、