Generalized Multilingual Text-to-Speech Generation with Language-Aware Style Adaptation

要約

テキストツースピーチ（TTS）モデルは、音素を波形に変換することにより、複数の言語で自然で人間のような音声を生成できます。
ただし、音素の語彙の不一致と、言語全体の韻律とスピーキングスタイルの変動により、多言語TTSは依然として困難です。
既存のアプローチは、各言語の個別のモデルをトレーニングし、計算リソースの増加のコストで高性能を達成するか、細かい言語固有のスタイルのバリエーションをキャプチャするのに苦労している複数の言語に統一されたモデルを使用します。
この作業では、音素表現を標準化し、言語間で細かい音素レベルのスタイル制御を可能にする非自己網羅的な言語を意識したスタイルの適応TTSフレームワークであるLanstylettsを提案します。
この設計は、言語固有のモデルを訓練する必要なく、正確で高品質のスピーチを生成できる統一された多言語TTSモデルをサポートします。
Lanstylettsは、いくつかの最先端の非自動性TTSアーキテクチャと統合することにより、Lanstylettsを評価します。
結果は、異なるモデルのバックボーンにわたって一貫したパフォーマンスの改善を示しています。
さらに、メルセプレクトグラムや自動エンコーダー由来の潜在的な特徴など、さまざまな音響特徴表現を調査します。
私たちの実験は、潜在的なエンコーディングが高品質の音声生成を維持しながら、モデルのサイズと計算コストを大幅に削減できることを示しています。

要約(オリジナル)

Text-to-Speech (TTS) models can generate natural, human-like speech across multiple languages by transforming phonemes into waveforms. However, multilingual TTS remains challenging due to discrepancies in phoneme vocabularies and variations in prosody and speaking style across languages. Existing approaches either train separate models for each language, which achieve high performance at the cost of increased computational resources, or use a unified model for multiple languages that struggles to capture fine-grained, language-specific style variations. In this work, we propose LanStyleTTS, a non-autoregressive, language-aware style adaptive TTS framework that standardizes phoneme representations and enables fine-grained, phoneme-level style control across languages. This design supports a unified multilingual TTS model capable of producing accurate and high-quality speech without the need to train language-specific models. We evaluate LanStyleTTS by integrating it with several state-of-the-art non-autoregressive TTS architectures. Results show consistent performance improvements across different model backbones. Furthermore, we investigate a range of acoustic feature representations, including mel-spectrograms and autoencoder-derived latent features. Our experiments demonstrate that latent encodings can significantly reduce model size and computational cost while preserving high-quality speech generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google