Accelerating Codec-based Speech Synthesis with Multi-Token Prediction and Speculative Decoding

要約

この文書の目標は、音声品質の犠牲を最小限に抑えながら、コーデックベースの音声合成システムを高速化することです。
追加のトレーニングを必要とせずに、推論中に速度と品質の間で柔軟なトレードオフを可能にする、強化された推論方法を提案します。
私たちの中心となるアイデアは、複数の予測ヘッドを使用して AR モジュールの推論ステップごとに複数のトークンを予測し、ヘッドの数が増加するにつれて合成時間が直線的に短縮されることです。
さらに、ビタビベースのアルゴリズムを利用して、各復号化ステップで生成されたトークンの最適なシーケンスを選択する、新しい投機的復号化手法を導入します。
私たちの実験では、各トークンの予測に必要な時間が、ベースライン モデルと比較して 4 ～ 5 分の 1 に短縮され、品質のトレードオフが最小限に抑えられ、音声明瞭度の点でも改善されることが実証されました。
音声サンプルは、multpletokensprediction.github.io/multipletokensprediction.github.io/ で入手できます。

要約(オリジナル)

The goal of this paper is to accelerate codec-based speech synthesis systems with minimum sacrifice to speech quality. We propose an enhanced inference method that allows for flexible trade-offs between speed and quality during inference without requiring additional training. Our core idea is to predict multiple tokens per inference step of the AR module using multiple prediction heads, resulting in a linear reduction in synthesis time as the number of heads increases. Furthermore, we introduce a novel speculative decoding technique that utilises a Viterbi-based algorithm to select the optimal sequence of generated tokens at each decoding step. In our experiments, we demonstrate that the time required to predict each token is reduced by a factor of 4 to 5 compared to baseline models, with minimal quality trade-off or even improvement in terms of speech intelligibility. Audio samples are available at: multpletokensprediction.github.io/multipletokensprediction.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google