XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model

要約

ほとんどのゼロショット マルチスピーカー TTS (ZS-TTS) システムは 1 つの言語のみをサポートします。
YourTTS、VALL-E X、Mega-TTS 2、Voicebox などのモデルは多言語 ZS-TTS を検討しましたが、これらは少数の高/中リソース言語に限定されており、ほとんどの低/中リソース言語でのこれらのモデルの適用が制限されています。
。
この文書では、XTTS システムを提案し、公開することで、この問題を軽減することを目指しています。
私たちの手法は Tortoise モデルに基づいて構築されており、多言語トレーニングを可能にし、音声クローン作成を改善し、より高速なトレーニングと推論を可能にするためにいくつかの新しい修正が追加されています。
XTTS は 16 の言語でトレーニングされ、そのほとんどで最先端 (SOTA) の結果を達成しました。

要約(オリジナル)

Most Zero-shot Multi-speaker TTS (ZS-TTS) systems support only a single language. Although models like YourTTS, VALL-E X, Mega-TTS 2, and Voicebox explored Multilingual ZS-TTS they are limited to just a few high/medium resource languages, limiting the applications of these models in most of the low/medium resource languages. In this paper, we aim to alleviate this issue by proposing and making publicly available the XTTS system. Our method builds upon the Tortoise model and adds several novel modifications to enable multilingual training, improve voice cloning, and enable faster training and inference. XTTS was trained in 16 languages and achieved state-of-the-art (SOTA) results in most of them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google