StoryTTS: A Highly Expressive Text-to-Speech Dataset with Rich Textual Expressiveness Annotations

要約

音響表現力は表現力豊かなテキスト読み上げ (ETTS) において長い間研究されてきましたが、テキストに固有の表現力は、特に芸術作品の ETTS では十分な注意が欠けています。
この論文では、中国語のストーリーテリング ショーの録音から、音響とテキストの両方の観点で豊かな表現力を備えた高度な ETTS データセットである StoryTTS を紹介します。
体系的かつ包括的なラベル付けフレームワークがテキスト表現力のために提案されています。
StoryTTS の音声関連のテキスト表現力を、言語学、レトリックなどを通じて 5 つの異なる側面を含めて分析および定義します。次に、大規模な言語モデルを採用し、バッチ アノテーション用の手動アノテーションの例をいくつか提示します。
結果として得られるコーパスには、正確なテキスト転写と豊かなテキスト表現の注釈を備えた、連続した高度に韻律的な音声が 61 時間含まれています。
したがって、StoryTTS は、将来の ETTS 研究で豊富な固有のテキストおよび音響特徴を完全に掘り出すのに役立ちます。
StoryTTS の注釈付きテキスト ラベルと統合すると、TTS モデルが表現力を向上させた音声を生成できることを検証するために実験が行われます。

要約(オリジナル)

While acoustic expressiveness has long been studied in expressive text-to-speech (ETTS), the inherent expressiveness in text lacks sufficient attention, especially for ETTS of artistic works. In this paper, we introduce StoryTTS, a highly ETTS dataset that contains rich expressiveness both in acoustic and textual perspective, from the recording of a Mandarin storytelling show. A systematic and comprehensive labeling framework is proposed for textual expressiveness. We analyze and define speech-related textual expressiveness in StoryTTS to include five distinct dimensions through linguistics, rhetoric, etc. Then we employ large language models and prompt them with a few manual annotation examples for batch annotation. The resulting corpus contains 61 hours of consecutive and highly prosodic speech equipped with accurate text transcriptions and rich textual expressiveness annotations. Therefore, StoryTTS can aid future ETTS research to fully mine the abundant intrinsic textual and acoustic features. Experiments are conducted to validate that TTS models can generate speech with improved expressiveness when integrating with the annotated textual labels in StoryTTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google