TCSinger: Zero-Shot Singing Voice Synthesis with Style Transfer and Multi-Level Style Control

要約

スタイル転送とスタイルコントロールを備えたゼロショット歌声合成（SVS）は、オーディオとテキストプロンプトから目に見えない音色とスタイル（歌唱方法、感情、リズム、テクニック、発音を含む）を使用して高品質の歌声を生成することを目的としています。
ただし、歌のスタイルの多面的な性質は、効果的なモデリング、転送、および制御に大きな課題をもたらします。
さらに、現在のSVSモデルは、目に見えない歌手のための文体的なニュアンスが豊富な歌声の声を生成できないことがよくあります。
これらの課題に対処するために、マルチレベルのスタイルコントロールとともに、言語間のスピーチと歌のスタイルを横切るスタイル転送のための最初のゼロショットSVSモデルであるTCSingerを紹介します。
具体的には、TCSingerは3つの主要なモジュールを提案します。1）クラスタリングスタイルエンコーダーは、クラスタリングベクター量子化モデルを採用して、スタイル情報をコンパクトな潜在スペースに安定に凝縮します。
2）スタイルと期間の言語モデル（S \＆d-LM）は、スタイル情報と音素期間を同時に予測します。
3）スタイルアダプティブデコーダーは、新しいメルスタイルの適応正規化方法を使用して、詳細を強化した歌声を生成します。
実験結果は、TCSingerが、ゼロショットスタイルの転送、マルチレベルのスタイルコントロール、横断的スタイルの転送、スピーチツーシングスタイルの転送など、さまざまなタスクにわたる合成品質、歌手の類似性、およびスタイルの制御性のすべてのベースラインモデルを上回ることを示しています。
Singing Voiceサンプルはhttps://aaronz345.github.io/tcsingerdemo/でアクセスできます。

要約(オリジナル)

Zero-shot singing voice synthesis (SVS) with style transfer and style control aims to generate high-quality singing voices with unseen timbres and styles (including singing method, emotion, rhythm, technique, and pronunciation) from audio and text prompts. However, the multifaceted nature of singing styles poses a significant challenge for effective modeling, transfer, and control. Furthermore, current SVS models often fail to generate singing voices rich in stylistic nuances for unseen singers. To address these challenges, we introduce TCSinger, the first zero-shot SVS model for style transfer across cross-lingual speech and singing styles, along with multi-level style control. Specifically, TCSinger proposes three primary modules: 1) the clustering style encoder employs a clustering vector quantization model to stably condense style information into a compact latent space; 2) the Style and Duration Language Model (S\&D-LM) concurrently predicts style information and phoneme duration, which benefits both; 3) the style adaptive decoder uses a novel mel-style adaptive normalization method to generate singing voices with enhanced details. Experimental results show that TCSinger outperforms all baseline models in synthesis quality, singer similarity, and style controllability across various tasks, including zero-shot style transfer, multi-level style control, cross-lingual style transfer, and speech-to-singing style transfer. Singing voice samples can be accessed at https://aaronz345.github.io/TCSingerDemo/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google