CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models

要約

前回の研究では、教師付き離散音声トークンに基づく多言語音声合成モデルである CosyVoice を紹介しました。
CosyVoice は、言語モデル (LM) とフロー マッチングという 2 つの一般的な生成モデルによるプログレッシブ セマンティック デコーディングを採用することにより、音声インコンテキスト学習における高い韻律の自然さ、内容の一貫性、話者の類似性を実証しました。
最近、マルチモーダル大規模言語モデル (LLM) で大幅な進歩が見られ、応答遅延と音声合成のリアルタイム要素が対話型エクスペリエンスにおいて重要な役割を果たします。
そこでこのレポートでは、包括的かつ体系的な最適化を組み込んだ、改良されたストリーミング音声合成モデル CosyVoice 2 を紹介します。
具体的には、音声トークンのコードブック利用率を向上させるために有限スカラー量子化を導入します。
テキスト音声 LM の場合、モデル アーキテクチャを合理化し、事前トレーニングされた LLM をバックボーンとして直接使用できるようにします。
さらに、さまざまな合成シナリオをサポートするチャンク認識因果フロー マッチング モデルを開発し、単一モデル内でストリーミング合成と非ストリーミング合成の両方を可能にします。
大規模な多言語データセットでトレーニングすることにより、CosyVoice 2 はストリーミング モードで人間と同等の自然さ、最小限の応答遅延、実質的にロスレスの合成品質を実現します。
https://funaudiollm.github.io/cosyvoice2 でデモを聞いてください。

要約(オリジナル)

In our previous work, we introduced CosyVoice, a multilingual speech synthesis model based on supervised discrete speech tokens. By employing progressive semantic decoding with two popular generative models, language models (LMs) and Flow Matching, CosyVoice demonstrated high prosody naturalness, content consistency, and speaker similarity in speech in-context learning. Recently, significant progress has been made in multi-modal large language models (LLMs), where the response latency and real-time factor of speech synthesis play a crucial role in the interactive experience. Therefore, in this report, we present an improved streaming speech synthesis model, CosyVoice 2, which incorporates comprehensive and systematic optimizations. Specifically, we introduce finite-scalar quantization to improve the codebook utilization of speech tokens. For the text-speech LM, we streamline the model architecture to allow direct use of a pre-trained LLM as the backbone. In addition, we develop a chunk-aware causal flow matching model to support various synthesis scenarios, enabling both streaming and non-streaming synthesis within a single model. By training on a large-scale multilingual dataset, CosyVoice 2 achieves human-parity naturalness, minimal response latency, and virtually lossless synthesis quality in the streaming mode. We invite readers to listen to the demos at https://funaudiollm.github.io/cosyvoice2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google