Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model

要約

話し言葉の対話は、人間のコンピューターの相互作用の直感的な形式ですが、現在の音声言語モデルは、ユーザーバージインなどのリアルタイムの適応性が欠けているターンベースの交換に制約を維持することがよくあります。
継続的なユーザー入力とコーデックエージェント出力を特徴とする新しい二重音声（S2S）アーキテクチャを提案します。
ユーザー入力に前処理されたストリーミングエンコーダーを使用すると、音声前後を必要とせずに最初の二重S2Sモデルが可能になります。
エージェントとユーザーモデリング用の個別のアーキテクチャは、より良いエージェントの声のためにコーデックの微調整を促進し、以前の作品と比較してビットレート（0.6 kbps）を半分にします。
実験結果は、提案されたモデルが推論、ターンテイク、バージイン能力において以前の二重モデルよりも優れていることを示しています。
このモデルは、音声プレインがスキップされるため、音声データが大幅に少なくなり、LLMSからデュプレックスS2Sモデルを構築するプロセスが著しく単純化されます。
最後に、再現性を促進するためのトレーニングと推論コードを備えた最初の公然と利用可能なデュプレックスS2Sモデルです。

要約(オリジナル)

Spoken dialogue is an intuitive form of human-computer interaction, yet current speech language models often remain constrained to turn-based exchanges, lacking real-time adaptability such as user barge-in. We propose a novel duplex speech to speech (S2S) architecture featuring continuous user inputs and codec agent outputs with channel fusion that directly models simultaneous user and agent streams. Using a pretrained streaming encoder for user input enables the first duplex S2S model without requiring speech pretrain. Separate architectures for agent and user modeling facilitate codec fine-tuning for better agent voices and halve the bitrate (0.6 kbps) compared to previous works. Experimental results show that the proposed model outperforms previous duplex models in reasoning, turn-taking, and barge-in abilities. The model requires significantly less speech data, as speech pretrain is skipped, which markedly simplifies the process of building a duplex S2S model from any LLMs. Finally, it is the first openly available duplex S2S model with training and inference code to foster reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google