Stable Audio Open 1.0でえっちな効果音を出す実験
音楽生成AIはMeta社のAudioCraftを試してがっかりして以来、長らく手を出していなかったのですが、つい先日（6月5日）、Stable Audio Open 1.0という音楽生成AIが公開されたので使ってみました。
BGMも生成できますが、有料サービスのStable Audioとは異なり、こちらは47秒までという制限があるのと、Stability AI社自身が環境音や音作りに用いる素材向けと述べているため、
えっちな効果音を生成できないものか、挑戦してみました。
Stable Audio Open 1.0で生成した効果音
Prompt: girl,breath,slow tempo (はぁはぁする吐息の音)
もう既にえろい。
Prompt: solo,body clap,medium_tempo (ぱん！ぱん！ぱん！)
128BPMとか指定すると、普通におしゃれなボディパーカッションになりますが、solo指定や、tempo指定だと腰打ち付けたり、ケツ叩く音として使えそうです。
Prompt: licking,sound (ちゅぱ音)
licking指定で音が出るとはなぁ…たまげたなぁ…ちゅぱ音というか、手コキしてるような音に近いかも知れません。工夫次第でもっとちゅぱちゅぱする音出せそう。
Prompt: sound of nudle eating (汚いちゅぱ音 ちょっとキモいので視聴注意)
より良いチュパ音を出すべく、「麺をすする音」を出そうとしたのですが、想像以上に汚い音になりました。視聴注意です。
Prompt: rain,sound (雨音、シャワー音)
えっちな音とはちょっと違うかもですが、シャワーシーンとかで使えそうだなーと。
アニメーションに効果音だけ付けてみた例
音だけではピンとこないかもなので、実例。
Stable Audio Open 1.0で生成した効果音は一切編集せずにそのままポン載せしただけの手抜き動画です。でもけっこうエロくないですかね。
調整すればもっと良い感じになると思います。
Stable Audio Open 1.0のインストール方法
探せば詳しく解説してるページあるだろうから、サラっと触りだけ。
インストールコマンド（Pythonがインストール済なのは大前提）
pip install huggingface_hub[cli]
hugginface-cli login
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install stable-audio-tools※huggingfaceへのログインが必須なので、アカウントない場合は作りましょう。
Stable Audio Open 1.0を使うPythonスクリプト
import torch
import torchaudio
from einops import rearrange
from stable_audio_tools import get_pretrained_model
from stable_audio_tools.inference.generation import generate_diffusion_cond
device = "cuda" if torch.cuda.is_available() else "cpu"
# Download model
model, model_config = get_pretrained_model("stabilityai/stable-audio-open-1.0")
sample_rate = model_config["sample_rate"]
sample_size = model_config["sample_size"]
model = model.to(device)
# Set up text and timing conditioning
#
conditioning = [{
"prompt": "licking sound",
"seconds_start": 0,
"seconds_total": 10
}]
# Generate stereo audio
output = generate_diffusion_cond(
model,
steps=100,
cfg_scale=7,
conditioning=conditioning,
sample_size=sample_size,
sigma_min=0.3,
sigma_max=500,
sampler_type="dpmpp-3m-sde",
device=device
)
# Rearrange audio batch to a single sequence
output = rearrange(output, "b d n -> d (b n)")
# Peak normalize, clip, convert to int16, and save to file
output = output.to(torch.float32).div(torch.max(torch.abs(output))).clamp(-1, 1).mul(32767).to(torch.int16).cpu()
torchaudio.save("output.wav", output, sample_rate)懸念事項
Stable Audio Open 1.0、思ったより活用できそうだなぁ～とは感じるのですが、わりと致命的な問題がございまして、Openと名が付いてるけどオープンソースライセンスではないんですよねー。
Stability AI社の独自ライセンスの基に配布されているので、非営利目的なら使えますが、商用目的には使えません。商用で使う場合はStable Audioのほうで毎月$20支払う必要があります。
そもそも商用目的で使うつもりはありませんが、アレコレ気を遣うのが嫌なのでちょっと躊躇します。
あらためてAudioCraftやAudioLDM2あたりで遊んでみるのも手かな？
謝辞
オープンソースソフトウェアの開発者および各種素材の制作者の皆さまに感謝します。
使用ソフト (AI関連)
- Stable Diffusion WebUI Forge
AIによるイラストの生成
使用モデル：ChacolOmegaMixXL - Flowframes
AIによるフレーム補間
使用モデル：RIFE - Stable Audio Open 1.0
AIによる効果音の生成
