TCSinger: Zero-Shot Singing Voice Synthesis with Style Transfer and Multi-Level Style Control

要約

スタイル転送とスタイル制御を伴うゼロショット歌声合成（SVS）は、音声とテキストプロンプトから、未知の音色とスタイル（歌唱法、感情、リズム、テクニック、発音を含む）を持つ高品質の歌声を生成することを目的としている。しかし、歌唱スタイルの多面的な性質は、効果的なモデル化、伝達、制御のための大きな課題となっています。さらに、現在のSVSモデルでは、未見の歌い手に対して、スタイルのニュアンスに富んだ歌声を生成できないことが多い。このような課題に対処するため、我々はTCSingerを導入します。TCSingerは、マルチレベルのスタイル制御とともに、言語横断的なスピーチと歌唱スタイル間のスタイル伝達を行う、初のゼロショットSVSモデルです。具体的には、TCSingerは3つの主要なモジュールを提案する：1)クラスタリングスタイルエンコーダーは、スタイル情報をコンパクトな潜在空間に安定的に凝縮するクラスタリングベクトル量子化モデルを採用する。2)スタイルおよび持続時間言語モデル(Style and Duration Language Model: S&D-LM)は、スタイル情報と音素の持続時間を同時に予測し、両方に利益をもたらす。実験の結果、TCSingerは、合成品質、歌手の類似性、およびスタイル制御性において、ゼロショットスタイル転送、マルチレベルスタイル制御、クロスリンガルスタイル転送、および音声から歌声へのスタイル転送を含むさまざまなタスクのすべてのベースラインモデルを上回ることが示された。歌声サンプルはhttps://aaronz345.github.io/TCSingerDemo/。

要約(オリジナル)

Zero-shot singing voice synthesis (SVS) with style transfer and style control aims to generate high-quality singing voices with unseen timbres and styles (including singing method, emotion, rhythm, technique, and pronunciation) from audio and text prompts. However, the multifaceted nature of singing styles poses a significant challenge for effective modeling, transfer, and control. Furthermore, current SVS models often fail to generate singing voices rich in stylistic nuances for unseen singers. To address these challenges, we introduce TCSinger, the first zero-shot SVS model for style transfer across cross-lingual speech and singing styles, along with multi-level style control. Specifically, TCSinger proposes three primary modules: 1) the clustering style encoder employs a clustering vector quantization model to stably condense style information into a compact latent space; 2) the Style and Duration Language Model (S\&D-LM) concurrently predicts style information and phoneme duration, which benefits both; 3) the style adaptive decoder uses a novel mel-style adaptive normalization method to generate singing voices with enhanced details. Experimental results show that TCSinger outperforms all baseline models in synthesis quality, singer similarity, and style controllability across various tasks, including zero-shot style transfer, multi-level style control, cross-lingual style transfer, and speech-to-singing style transfer. Singing voice samples can be accessed at https://aaronz345.github.io/TCSingerDemo/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL