Style-Bert-VITS2に差分マージが追加されウィスパーボイスが作成可能に！

ほんの2週間ほど前^※に知ったばかりのStyle-Bert-VITS2ですが、あえぎ声が出せるモデルに魅了され、すっかり愛用しています。
※ママに隠れてこっそりフェラチオ

吐息やチュパ音のコーパスも出てこないかなぁ、と頻繁に制作者であるlitagin様のモデル置き場を眺めているのですが、今日覗いてみたら、sbv2_null_modelsというのが追加されているではありませんか。

ヌルモデルってなんぞ？と説明文を読むと…

Ver 2.6.0で追加された（差分マージを実現する）ヌルモデルマージで使えるモデルたちをとりあえず置いてみています。
現在は適当に作ったささやき声モデルを置いており、これを使えば任意のモデルを囁き声モデルに変えることがある程度できます。
引用元：https://huggingface.co/litagin/sbv2_null_models

ふぉおおおおおお！！！！

毎日チェックしているつもりでいましたが、いつのまにか、Style-Bert-VITS2のバージョンが2.5から2.6にアップしています。

そういえば、ここ数日は音声学習^※の機能を学ぶために、つくよみちゃんコーパスをStyle-Bert-VITS2へ取り込む作業に夢中になっており、git pullしてなかったわ。
※猿でも使える親切UIのおかげで想像の20倍は簡単でした

というわけで、さっそく2.6にアップデートし、差分マージというか、ヌルモデルマージというのを試してみました。

Anneliをヌルモデルマージでささやき声化

■Anneli

セリフ「こちらは、通常版Anneliの声です」

■Anneli＋whisper1の0.8マージ

セリフ「通常版Anneliをヌルモデルマージして作った、ささやき声モデルの声です」

す、す、すげぇぇええ！！！！

声質、声の高さ、話し方、話す速さという4項目について、重みを設定できるのですが、0に近いほど元のモデルのままになる感じで、このテストではわかりやすいように0.8まで上げています。これだとノイズが多いので、実際に使う際は0.5以下が良いかも知れません。

尚、このヌルモデルマージの実行時間はほんの数秒なので、いくらでも試行錯誤できます。

Anneli-NSFWをヌルモデルマージでささやき声化

■Anneli-nsfw (あえぎ声注意)

セリフ「こちらは、NSFW版のAnneliの声です。あえぎ声が得意です。…んぁ…ぁん…はぁ…ふぅ…んっ」

■Anneli-nsfw＋whisper1の0.8マージ

セリフ「NSFW版Anneliをヌルモデルマージして作った、ささやき声モデルの声です」

良い…とても良い…。重みを上げ過ぎるとノイズが増えるのは同じなので、やはりこちらも実用する際は0.5くらいまで落としたほうが良いかも。

なぜささやき声でそんなに興奮しているのか？

ASMRが好きだから！！……………というわけではありません。

ささやき声が出せるということは、吐息が作れるってことなんです。

合成音声やってない人にはピンとこないかもですが、「はぁ…」とか「ふぅ…」といった音質がほとんどのらない音を合成音声で出すのはとても難しいです。

具体的にはこういうの↓

これは半年以上前（2023年11月頃）にアップした動画^※ですが、ちゅうちゅう吸う音は有料素材を使っていますが、BGVの「はぁはぁ」はVOICEVOX:九州そら様のささやき声を調教調声して出しています。
※AIイラストでロリ授乳手コキアニメーション

じゃあこれで良いじゃん、と思うなかれ。「はぁ…はぁ…」と出すだけでも大変だったのです。「ふぅーふぅー」とか、「んはー」とか「はっはっ」とか出せないんですよ。

…………………………なに言ってんのかわかんないよね…いいんだ…わかってもらえなくても…。ぼくは…ぼくだけは…この「どんな音声でもささやき声化できることの素晴らしさ」を声を大にして発信していくんだ…。

NSFW版Anneliで吐息の比較

そもそも、あえぎ声が出せるというだけでも素晴らしく、その中には吐息成分も含まれているので、わりとそのままでも使える場面は多くありました。

■Anneli-nsfw

セリフ「ふー…ふぅー…、はぁ…、はぁぁ」

エロい。

…けど、もう少し抑えめに、グッとこらえているような声で出してもらうことできないかなぁーと悩んでいたんですね。

過去に作った動画ではAudacity等の音声編集ソフトで、高音成分をカットして使ったりしていました。

■Anneli-nsfwのウィスパー吐息

セリフ「ふー…ふぅー…、はぁ…、はぁぁ」

コレよ、コレ。コレを求めていたのよ！

やや声が近いのでASMRになってしまっていますが、マージの重みを調整したり、左右パンの調整でいかようにも遊べることでしょう。

おまけ

過去動画と音声だけだと寂しいので、サクっと吐息入りのループ動画作ってみました。はぁはぁ言うだけですが、一応音声注意。

素股も手コキもパンツコキも好きだから、全部載せにしてみた。

まとめ

litagin様は神。

謝辞

オープンソースソフトウェアの開発者および各種素材の制作者の皆さまに感謝します。

使用ソフト (AI関連)

• Style-Bert-VITS2
  AI合成音声
  使用モデル：
  Anneli
  Anneli-nsfw
  sbv2_null_models
  
• Stable Diffusion WebUI A1111
  AI絵の生成
  使用モデル：ioliPonyMix
• Flowframes
  AIフレーム補間
  使用モデル：RIFE

使用ソフト (AI以外)

• GIMP
  画像編集、アニメの中割作成
• Shotcut
  動画編集

効果音

無料効果音で遊ぼう！様の「夏の山中３」