SpeechTokenizer: Unified Speech Tokenizer for Speech Large Language Models

要約

現在の音声大規模言語モデルは、意味論的トークンと音響トークンに分類できる離散音声表現に基づいて構築されています。
ただし、既存の音声トークンは音声言語モデリング用に特別に設計されたものではありません。
音声言語モデルを構築するための音声トークンの適合性を評価するために、最初のベンチマークである SLMTokBench を確立しました。
私たちの結果は、セマンティック トークンも音響トークンもこの目的には理想的ではないことを示しています。
したがって、音声大規模言語モデル用の統合音声トークナイザーである SpeechTokenizer を提案します。
SpeechTokenizer は、残差ベクトル量子化 (RVQ) を備えたエンコーダー デコーダー アーキテクチャを採用しています。
セマンティック トークンと音響トークンを統合する SpeechTokenizer は、音声情報のさまざまな側面をさまざまな RVQ レイヤーにわたって階層的に解きほぐします。
さらに、SpeechTokenizer を活用して統一音声言語モデル (USLM) を構築します。
実験では、SpeechTokenizer が音声再構成において EnCodec と同等のパフォーマンスを示し、SLMTokBench ベンチマークで優れたパフォーマンスを示していることが示されています。
また、USLM は、ゼロショットの Text-to-Speech タスクにおいて VALL-E よりも優れたパフォーマンスを発揮します。
コードとモデルは https://github.com/ZhangXInFD/SpeechTokenizer/ で入手できます。

要約(オリジナル)

Current speech large language models build upon discrete speech representations, which can be categorized into semantic tokens and acoustic tokens. However, existing speech tokens are not specifically designed for speech language modeling. To assess the suitability of speech tokens for building speech language models, we established the first benchmark, SLMTokBench. Our results indicate that neither semantic nor acoustic tokens are ideal for this purpose. Therefore, we propose SpeechTokenizer, a unified speech tokenizer for speech large language models. SpeechTokenizer adopts the Encoder-Decoder architecture with residual vector quantization (RVQ). Unifying semantic and acoustic tokens, SpeechTokenizer disentangles different aspects of speech information hierarchically across different RVQ layers. Furthermore, We construct a Unified Speech Language Model (USLM) leveraging SpeechTokenizer. Experiments show that SpeechTokenizer performs comparably to EnCodec in speech reconstruction and demonstrates strong performance on the SLMTokBench benchmark. Also, USLM outperforms VALL-E in zero-shot Text-to-Speech tasks. Code and models are available at https://github.com/ZhangXInFD/SpeechTokenizer/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google