Speak While You Think: Streaming Speech Synthesis During Text Generation

要約

大規模言語モデル (LLM) は優れた機能を示しますが、これらのモデルとの対話は主にテキストを通じて容易に行われます。
Text-To-Speech を使用して LLM 出力を合成すると、通常、顕著な遅延が発生し、流暢な音声会話には実用的ではありません。
私たちは、LLM によってテキストが生成されている間に音声を合成するアーキテクチャである LLM2Speech を提案します。これにより、遅延が大幅に削減されます。
LLM2Speech は、ストリーミングを有効にするために将来のコンテキストへの露出を制限しながら、非ストリーミング教師モデルの予測を模倣します。
これは、有益なセマンティック コンテキストを含むテキスト生成の副産物である LLM の隠された埋め込みを利用します。
実験結果によると、LLM2Speech は教師の質を維持しながら待ち時間を短縮して自然な会話を可能にします。

要約(オリジナル)

Large Language Models (LLMs) demonstrate impressive capabilities, yet interaction with these models is mostly facilitated through text. Using Text-To-Speech to synthesize LLM outputs typically results in notable latency, which is impractical for fluent voice conversations. We propose LLM2Speech, an architecture to synthesize speech while text is being generated by an LLM which yields significant latency reduction. LLM2Speech mimics the predictions of a non-streaming teacher model while limiting the exposure to future context in order to enable streaming. It exploits the hidden embeddings of the LLM, a by-product of the text generation that contains informative semantic context. Experimental results show that LLM2Speech maintains the teacher’s quality while reducing the latency to enable natural conversations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google