Investigating the Utility of Surprisal from Large Language Models for Speech Synthesis Prosody

要約

この論文では、音声合成韻律を支援する機能として、特定の文脈における単語の予測可能性の尺度である単語の意外性の使用を調査します。
私たちは、大規模言語モデル (LLM) から抽出された単語の意外性が、特定の談話における単語の顕著性の信号ベースの尺度である単語のプロミネンスとどのように相関するかを調査します。
また、コンテキストの長さと LLM サイズが結果にどのような影響を与えるか、また、驚くべき値で条件付けされた音声合成装置がベースライン システムとどのように比較されるかを調べます。
これらの要因を評価するために、私たちは英語テキストの大規模なコーパスとさまざまなサイズの LLM を使用して実験を実施しました。
私たちの結果は、単語のサプライズと単語のプロミネンスが適度に相関していることを示しており、これらが言語使用の関連しているが異なる側面を捉えていることを示唆しています。
コンテキストの長さと LLM のサイズは相関関係に影響を与えますが、予想された方向には影響しません。コンテキストが長く、LLM が大きいほど、一般に、ほぼ線形に顕著な単語が過小予測されることがわかりました。
これらの発見と一致して、意外な値で条件付けされた音声合成装置は、ベースラインを超える最小限の改善を提供することを実証し、その結果は、適切なプロミネンス パターンを引き出すために驚きの値を使用する効果が限定的であることを示唆しています。

要約(オリジナル)

This paper investigates the use of word surprisal, a measure of the predictability of a word in a given context, as a feature to aid speech synthesis prosody. We explore how word surprisal extracted from large language models (LLMs) correlates with word prominence, a signal-based measure of the salience of a word in a given discourse. We also examine how context length and LLM size affect the results, and how a speech synthesizer conditioned with surprisal values compares with a baseline system. To evaluate these factors, we conducted experiments using a large corpus of English text and LLMs of varying sizes. Our results show that word surprisal and word prominence are moderately correlated, suggesting that they capture related but distinct aspects of language use. We find that length of context and size of the LLM impact the correlations, but not in the direction anticipated, with longer contexts and larger LLMs generally underpredicting prominent words in a nearly linear manner. We demonstrate that, in line with these findings, a speech synthesizer conditioned with surprisal values provides a minimal improvement over the baseline with the results suggesting a limited effect of using surprisal values for eliciting appropriate prominence patterns.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google