Style-Bert-VITS2でささやき声が作れるようになったので、つくよみちゃんをマージしてASMR作ってみた

昨日の記事ではStyle-Bert-VITS2で吐息が作れることに感動し、すごい！すごい！と興奮しておりましたが、元々はつくよみちゃんコーパスで学習した声で何か作ろうと思ってたんですよ。

Style-Bert-VITS2には元からいくつかの音声モデルが付属していますが、利用規約上、うちのブログでは使えなかったり（アダルト禁止）、学習モデルとして使うなら25％未満に薄めないといけなかったりするため、おそらく合成音声界でNo1に懐の広い利用規約を持つ、つくよみちゃん様の声を使いたいな、と。

普通に学習しただけでも素晴らしいクオリティになりましたが、せっかくヌルモデルマージによるウィスパーボイス化まで出来るようになったので、それをイかせるアニメーションを作ってみたい。

ということで、困ったときのAI小説くんにASMRの台本をお願いしてみました。

AI小説によるシナリオ生成

妹2人に耳元で「しーこ、しーこ」「がんばれ♡」「がんばれ♡」などのえっちな台詞を囁かれながら手コキされるASMR音声作品。淫語多め。1000文字程度で完結。

キャラクター:淫乱なさくら、献身的なあやめ

# では始めましょう
さくら「

さくら「今日はね、あやめちゃんと一緒にお兄ちゃんをいっぱい気持ちよくしちゃうからね」
あやめ「はい、私たちでお兄ちゃんをたっぷりイかせちゃいますよー」
さくら「お兄ちゃんのおちんちん、もう固くなってるね」
あやめ「え、本当だ。もう準備OKなんだ」
さくら「それじゃあ…行くよー？」
あやめ「私も一緒にしますね」
さくら「しーこ、しーこ」
あやめ「しーこ、しーこ」
さくら「ほら、お兄ちゃん、妹の手コキは気持ちいいかなー？」
あやめ「どうですか？気持ちよくなってきましたか？」
2人「シコシコシコシコ…♡」
さくら「お兄ちゃん、顔真っ赤にしちゃって可愛い。ほらー、がんばれー♡」
あやめ「がんばれ♡がんばれ♡　いっぱい出してください」
2人「シコシコシコシコ…♡」
2人「ピュッピュッピュー…！♡」
さくら「はぁはぁ…いっぱい出たねー。私たちの手コキ、気持ちよかったでしょー？」
あやめ「またいつでも私たちを呼んでくださいね」

AI君の理解力がすごすぎてドン引きである

妹2人に耳元で囁かれながら手コキされるASMRっぽいアニメ

さくら(CV:Anneli)の音声を左に、あやめ(CV:マージモデル)の音声を右に80％ずつ定位を移動してみましたが、ASMRっぽくなりましたかね？

動画中の音声について

ちょっと左(Anneli-nsfw-whisper2)のボイスはwhisper2の成分が多めなので、右(マージ2回)と一緒に聞くとノイズというかこもった感がありますね。

Anneli-nsfwにwhisper2を0.5くらいで配合したと思いますが、もうちょい減らしてひそひそ声くらいにしても良かったかも。

つくよみちゃん様をマージしたほうは個人的にはかなり好みな仕上がりになりました。

手順としては下記のとおりです。

1. つくよみちゃんコーパスを学習
   ※Style-Bert-VITS2のUIがめちゃくちゃ親切で、説明欄のとおりにやれば猿でも出来ます。但し1時間くらいかかります。
2. 出来上がったつくよみちゃんモデルに、whisper2をヌルモデルマージ
3. Anneli-nsfwをAに、つくよみちゃんwhisper2をBにして通常マージ

手探りなので何が正解かはわかりませんが、NSFWモデルのメリットである喘ぎ声をある程度継承しつつ、ウィスパーボイスが出せるように、という目的でマージしました。

ヌルモデルマージの際は「声質」を減らし過ぎると話者の特徴がなくなってしまうので、0.5くらいを目安に、「声の高さ」を0.5以下にするとノイズが気になったので0.8くらい。話し方／話す速さは0.5～0.8の間を何度か微調整しました。

最後にAnneli-nsfwとつくよみちゃんwhisper2をマージする際は声質を少なくし過ぎるとAnneliちゃんの声になってしまうので（当たり前）、0.8くらいにしたかったのですが、そうすると喘ぎ声がまったく無理。

なので、このへんも妥協しつつ調整。すみません、メモってないので最終的にいくつにしたか忘れちゃった…。なにしろほんの数秒でマージできちゃうから試行錯誤が簡単なんですよね。

COEIROINKとの比較

本来（？）のつくよみちゃんの声の参考用に、COEIROINKでも台本を読んで頂きました。

まったくの無調声で棒読みなので笑ってしまわないよう注意。尚、ぼくはピュッピュッピューで腹抱えて笑いました。

ここからいくら調声しても動画中のような感情のこもった合成音声を作るのは無理です。

もちろんVOICEVOXやCOEIROINKをディスる意図はなく、こちらのほうが得意な分野というのも多いです。解説動画作るときなんか、下手に感情豊かにしゃべられても困るということもありますし、Bert-VITS2はイントネーションの調整があまり効かないという特徴もあります。

どちらのソフトにも多大なる感謝をしつつ、これからもお世話になりたいと思います。

まとめ

もっかい言っとこ。

litagin様は神。

謝辞

オープンソースソフトウェアの開発者および各種素材の制作者の皆さまに感謝します。

使用ソフト (AI関連)

• Style-Bert-VITS2
  AI合成音声
  使用モデル：
  Anneli-nsfw
  sbv2_null_models
  つくよみちゃんコーパス
  
• COEIROINK
  AI音声比較用
  使用モデル：つくよみちゃん
• Stable Diffusion WebUI A1111
  AI絵の生成
  使用モデル：ioliPonyMix
• Flowframes
  AIフレーム補間
  使用モデル：RIFE

使用ソフト (AI以外)

• GIMP
  画像編集、アニメの中割作成
• Shotcut
  動画編集
• Audacity
  音声編集（左右の定位振り分け）

効果音

無料効果音で遊ぼう！様の「夏山頂の草原２」