A Preliminary Analysis of Automatic Word and Syllable Prominence Detection in Non-Native Speech With Text-to-Speech Prosody Embeddings

要約

単語および音節レベルでのプロミネンスの自動検出は、コンピューター支援言語学習システムを構築するために重要です。
現在の最先端 (SOTA) テキスト読み上げ (TTS) システムによって学習された韻律埋め込みは、合成音声においてネイティブ音声と同じくらい自然な単語および音節レベルの卓越性を生成できることが示されています。
非ネイティブのコンテキストでのプロミネンス検出に対する TTS からの韻律埋め込みの有効性を理解するために、プロミネンス関連の埋め込み (持続時間、エネルギー、およびピッチ) を考慮して、ネイティブ音声と非ネイティブ音声から抽出された埋め込みに対して比較分析が実行されます。
ファストスピーチ2。
これらの埋め込みは、1) テキストのみ、2) 音声とテキストの両方を考慮した 2 つの条件の下で抽出されます。
最初の条件では、埋め込みは TTS 推論モードから直接抽出されますが、2 番目の条件では、トレーニング モードで TTS から抽出することを提案します。
実験は母語音声コーパス: Tatoeba と非母語音声コーパス: ISLE で行われます。
実験のために、両方のコーパスに対して単語レベルのプロミネンス位置に手動で注釈を付けます。
TTS 埋め込みによる単語および音節レベルのプロミネンス検出精度の相対的改善が最も高かったのは、ヒューリスティックベースの機能と自己教師付き Wav2Vec-2.0 表現を使用した場合と比較して、13.7% & 5.9% および 16.2% & 6.9% であることがわかりました。
、 それぞれ。

要約(オリジナル)

Automatic detection of prominence at the word and syllable-levels is critical for building computer-assisted language learning systems. It has been shown that prosody embeddings learned by the current state-of-the-art (SOTA) text-to-speech (TTS) systems could generate word- and syllable-level prominence in the synthesized speech as natural as in native speech. To understand the effectiveness of prosody embeddings from TTS for prominence detection under nonnative context, a comparative analysis is conducted on the embeddings extracted from native and non-native speech considering the prominence-related embeddings: duration, energy, and pitch from a SOTA TTS named FastSpeech2. These embeddings are extracted under two conditions considering: 1) only text, 2) both speech and text. For the first condition, the embeddings are extracted directly from the TTS inference mode, whereas for the second condition, we propose to extract from the TTS under training mode. Experiments are conducted on native speech corpus: Tatoeba, and non-native speech corpus: ISLE. For experimentation, word-level prominence locations are manually annotated for both corpora. The highest relative improvement on word \& syllable-level prominence detection accuracies with the TTS embeddings are found to be 13.7% & 5.9% and 16.2% & 6.9% compared to those with the heuristic-based features and self-supervised Wav2Vec-2.0 representations, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google