StyleSinger 2: Zero-Shot Singing Voice Synthesis with Style Transfer and Multi-Level Style Control

要約

スタイルトランスファーとスタイルコントロールを備えたゼロショット歌声合成（SVS）は、オーディオとテキストプロンプトから、目に見えない音色とスタイル（歌唱法、感情、リズム、テクニック、発音を含む）を備えた高品質の歌声を生成することを目的としています。
ただし、歌唱スタイルの多面的な性質により、効果的なモデリング、伝達、制御には大きな課題が生じます。
さらに、現在の SVS モデルは、まだ見ぬ歌手のために文体のニュアンスに富んだ歌声を生成できないことがよくあります。
これらの課題に対処するために、私たちは、複数レベルのスタイル制御とともに、言語を超えたスピーチと歌唱スタイル間でのスタイル転送のための初のゼロショット SVS モデルである StyleSinger 2 を導入しました。
具体的には、StyleSinger 2 は 3 つの主要なモジュールを提案しています。1) クラスタリング スタイル エンコーダは、クラスタリング ベクトル量子化モデルを採用して、スタイル情報をコンパクトな潜在空間に安定して凝縮します。
2) スタイルおよびデュレーション言語モデル (S\&D-LM) は、スタイル情報と音素デュレーションを同時に予測し、両方にメリットをもたらします。
3) スタイル適応デコーダは、新しいメルスタイル適応正規化方法を使用して、細部が強化された歌声を生成します。
実験結果では、StyleSinger 2 が合成品質、歌手の類似性、ゼロショット スタイル転送、マルチレベル スタイル コントロール、言語間スタイル転送、音声から歌唱スタイルなどのさまざまなタスクにわたるスタイル制御性において、すべてのベースライン モデルよりも優れていることが示されています。
移行。
歌声サンプルは https://stylesinger2.github.io/ からアクセスできます。

要約(オリジナル)

Zero-shot singing voice synthesis (SVS) with style transfer and style control aims to generate high-quality singing voices with unseen timbres and styles (including singing method, emotion, rhythm, technique, and pronunciation) from audio and text prompts. However, the multifaceted nature of singing styles poses a significant challenge for effective modeling, transfer, and control. Furthermore, current SVS models often fail to generate singing voices rich in stylistic nuances for unseen singers. To address these challenges, we introduce StyleSinger 2, the first zero-shot SVS model for style transfer across cross-lingual speech and singing styles, along with multi-level style control. Specifically, StyleSinger 2 proposes three primary modules: 1) the clustering style encoder employs a clustering vector quantization model to stably condense style information into a compact latent space; 2) the Style and Duration Language Model (S\&D-LM) concurrently predicts style information and phoneme duration, which benefits both; 3) the style adaptive decoder uses a novel mel-style adaptive normalization method to generate singing voices with enhanced details. Experimental results show that StyleSinger 2 outperforms all baseline models in synthesis quality, singer similarity, and style controllability across various tasks, including zero-shot style transfer, multi-level style control, cross-lingual style transfer, and speech-to-singing style transfer. Singing voice samples can be accessed at https://stylesinger2.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google