WanVideoにMMAUDIOで音を付ける実験

2025/04/07

AIで効果音を生成する試みについては、2024年6月に「AudioCraftでえっちな効果音を出す実験」と「Stable Audio Open 1.0でえっちな効果音を出す実験」で試していましたが、ほんの数か月AIの話題から離れているうちにMMAudioというOSSが発表されていたようです。

ASCIIの記事によるとMMAudioはイリノイ大学とソニーによって研究されている動画を解析して効果音を生成する仕組みとのこと。

GitHubのhkchengrex / MMAudioのページでも「University of Illinois Urbana-Champaign, Sony AI, and Sony Group Corporation」の署名がありました。

動画から音声を生成できると何が嬉しいの？

AudioCraftやStable AudioはText to Audioであり、「body clap」でパンパン！という音を生成したり、「licking sound」でチュパ系の音が生成できました。

しかし、映像と音を同期させるのは人間の役目。

ちんちんにチュっとキスした瞬間にチュパ音が鳴るように動画編集ソフトで調整しているし、腰の動きが早くなるにつれ、パン音もぴったり合うように調整しています。なにげに大変な作業です。なんならAI絵生成するより面倒くせぇ。

もしも動画の動きに合わせた音をAIが生成してくれたら？　なにそれ最高じゃん…。というわけで希望を胸に早速MMAudioを試してみました。

小手調べにちんぽを啜る音

汚い音が鳴るので注意。

うん、ごめん。fellatioとかblowjobでは認識してくれなかったんだ。

なので、「slurp soup」（スープを啜る）で生成したので、なんか汚い音になっちゃった。

軽く試した限り「sex」や「girl's breathing」に反応して洋物AVみたいな音が生成されるのでfellatioくらい出るかな？と思ったんだけど、ダメみたい。

まぁでも、昔AudioCraftやStable Audioで試したとおり、咀嚼音やとか、湿った食事をする音とか、なんかそういう言い回しを変えてみるとけっこう実用的になりそうな気配がします。

なんとなく動画の動きに合わせて音を鳴らしている…ような…気もしますし。

セックスシーンの音を生成してみる

では文字通り本番。パン音（腰を打ち付ける音）の位置調整が嫌すぎて「腰の動きとSEや喘ぎ声を同期してみる実験」で専用のWebプログラムを作ったくらいです。

もし映像の動きにあわせてパン音を鳴らしてくれるならそれだけでも使う価値がある。ぼくは「sex,hitting wet hip」と入力し、ワクワクしながら生成ボタンを押しました。

奇声が出るので注意。

oh! wow! yeah! じゃねーンだわ！

いや…まぁ…イリノイ大学とソニーの研究成果でこんな音声生成できるってだけでスゲーなって思いますけどね。求めてるのはコレジャナイ。

ネガティブに「voice」をセット

おぉ…　雑音多いけどoh! wow!などの奇声が消えてハァ…！フゥ…！みたいな吐息だけになりました。

……………待て。待ってくれ。今回出したいのは吐息じゃあないんだ。水音を出してくれ。

ネガティブに「breath」もセット

うーん、雑音が多くてわかりづらいですが、一応水音の同期をしようとはしている…ような…あんま…してないような…。

ちなみに生成時間はほんの数秒程度なので、150回くらいは生成した中から選別しました。つまりそれだけ打率が悪いし、150分の1でコレかよっていう感じではありますが、ぼくの使い方やプロンプトが間違っている可能性も高いのであんまり鵜呑みにしないでください。

使ったプロンプトは下記のとおり、

Positive:

sex,hitting wet hip

sex,wet crap

sex,wet sound

hipやcrapだとパチパチパチパチと頻繁に音が鳴ってギャグみたいだし、slowly付けても効果ありませんでした。slow tempoのほうが良かったかな？

上の中ではwet soundがマシでしたが、きっともっと良いプロンプトがあるのではないかと思います。

ネガティブプロンプトは以下のとおり。

Negative:

low quality,heartbeat,noise,popping sound,hissing,music,song,voice,breath

low quality, noise, hissingあたりは効いているのかどうかよくわかりません。ひたすらサーーーというノイズがいつも出ていてウーン、謎。

heartbeatがないと、なぜか「ドクッドクッ」という定期的な心音がありました。sexだからドキドキしてんの？　そんなバカな。

poppingも付けないと、なんか突然マイクを叩いたようなボフッという音があって不快でした。

musicやsongも入れておかないと突然音楽になったり、oh! yes!の後に歌い始めたりして笑い転げることになるでしょう。

MMAudioのインストール方法

現時点ではコレなら自作の効果音素材使ったほうが良いなーと感じますが、ぼくの使い方が悪いだけの可能性も高いので、忘れないうちにインストールした方法を記録しておきます。

Windowsで C:\EasyWan にEasyWanVideoが入っている前提で、ComfyUI上のワークフローとしてMMAudioを使えるようにしました。

インストールコマンド：

cd C:\EasyWan\ComfyUI\custom_nodes
git clone https://github.com/kijai/ComfyUI-MMAudio
..\venv\Scripts\Activate
pip install -r ComfyUI-MMAudio\requirements.txt

これだけでkijai氏のMMAudio用のカスタムノードがインストールされますが、使う前にMMAudioのモデルのダウンロードが必要です。

mmaudio_large_44k_v2_fp16.safetensors
mmaudio_vae_44k_fp16.safetensors
mmaudio_synchformer_fp16.safetensors
apple_DFN5B-CLIP-ViT-H-14-384_fp16.safetensors

これら4つのファイルを C:\EasyWan\Model\mmaudio ディレクトリへコピーすれば準備OK。
（mmaudioディレクトリは自分で作成）

最後にkijai氏のページからワークフローをダウンロードしてComfyUIへドラッグ＆ドロップしましょう。
https://github.com/kijai/ComfyUI-MMAudio/tree/main/example_workflows

参考までにワークフローのスクリーンショット

オマケ：音声素材と効果音素材で作った動画

せっかく動画作ったのに音がアレだけだとちょっとなぁと感じたので、いつもの効果音素材と音声素材を付けておきました。

動画のプロンプト

Positive:

The man is stroking his hips to the little girl's butt. She closes her eyes and is embarrassed. nsfwsks. penis goes in and out of vagina. Japanese Anime. Japanese Manga.

Negative:

color tones, overexposed, static, blurred details, caption, style, artwork, painting, picture, still, overall gray, worst quality, low quality, JPEG compression residue, ugly, mutilated, extra fingers, poorly drawn hand, poorly drawn face, deformed, disfigured, morphologically deformed limbs, fused fingers, still frame, cluttered background, three legs, background Lots of People, Walking Backwards, Flashing, 3D, MMD, Blender, subtitles, channel, photoreal, photo, photograph, live action film, brightness change, contrast change, flicker, zoom in, zoom out, talking, speaking

LoRA:WAN General NSFW modelを使用。

気を付けた点はネガティブに「talking, speaking」を追加したことですかね。口をパクパクしていると音声を合わせづらいので閉じておいてもらったほうが誤魔化しやすいかなーと。