SALTTS: Leveraging Self-Supervised Speech Representations for improved Text-to-Speech Synthesis

要約

FastSpeech2 は、ピッチ、エネルギー、長さなどの音声の側面を条件付き入力として統合することを目的としていますが、より豊かな表現の余地がまだ残されています。
この作業の一環として、さまざまな自己教師あり学習 (SSL) モデルの表現を活用して、合成音声の品質を向上させます。
特に、SSL 表現を再構築する目的で、FastSpeech2 エンコーダーの長さ調整された出力を一連のエンコーダー層に渡します。
SALTTS 並列実装では、この 2 番目のエンコーダーからの表現は、SSL 機能による補助再構成損失に使用されます。
ただし、SALTTS カスケードの実装では、再構成損失があることに加えて、これらの表現がデコーダを通過します。
SSL 機能による音声特性の豊かさは出力音声品質に反映されており、提案されたアプローチの客観的および主観的な評価尺度はベースラインの FastSpeech2 を上回っています。

要約(オリジナル)

While FastSpeech2 aims to integrate aspects of speech such as pitch, energy, and duration as conditional inputs, it still leaves scope for richer representations. As a part of this work, we leverage representations from various Self-Supervised Learning (SSL) models to enhance the quality of the synthesized speech. In particular, we pass the FastSpeech2 encoder’s length-regulated outputs through a series of encoder layers with the objective of reconstructing the SSL representations. In the SALTTS-parallel implementation, the representations from this second encoder are used for an auxiliary reconstruction loss with the SSL features. The SALTTS-cascade implementation, however, passes these representations through the decoder in addition to having the reconstruction loss. The richness of speech characteristics from the SSL features reflects in the output speech quality, with the objective and subjective evaluation measures of the proposed approach outperforming the baseline FastSpeech2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google