VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model

要約

自然なヒューマンコンピューターの相互作用の要件が高まっているため、音声ベースのシステムは、音声が日常的なコミュニケーションの最も一般的な形態の1つであるため、注目を集めています。
ただし、既存の音声モデルは、ストリーミング中に最初のオーディオトークンを生成する際に高いレイテンシを発生させます。これは、展開に大きなボトルネックをもたらします。
この問題に対処するために、速いオーディオテキストトークン生成を備えたエンドツーエンドの大音量モデルであるVita-Audioを提案します。
具体的には、単一のモデルフォワードパス内で複数のオーディオトークンを効率的に生成する軽量の複数のクロスモーダルトークン予測（MCTP）モジュールを導入します。
さらに、4段階のプログレッシブトレーニング戦略が検討され、音声品質の最小限の喪失でモデルの加速を実現します。
私たちの知る限り、Vita-Audioは、最初のフォワードパス中にオーディオ出力を生成することができる最初のマルチモーダル大型言語モデルであり、最小限のレイテンシでリアルタイムの会話機能を可能にします。
Vita-Audioは完全に再現でき、オープンソースデータのみでトレーニングされています。
実験結果は、我々のモデルが7Bパラメータースケールで3〜5倍の推論速度を達成することを示していますが、自動音声認識（ASR）、テキストへのスピーチ（TTS）、および話された質問（SQA）タスクのための複数のベンチマークで同様のモデルサイズのオープンソースモデルを大幅に上回ることも示しています。

要約(オリジナル)

With the growing requirement for natural human-computer interaction, speech-based systems receive increasing attention as speech is one of the most common forms of daily communication. However, the existing speech models still experience high latency when generating the first audio token during streaming, which poses a significant bottleneck for deployment. To address this issue, we propose VITA-Audio, an end-to-end large speech model with fast audio-text token generation. Specifically, we introduce a lightweight Multiple Cross-modal Token Prediction (MCTP) module that efficiently generates multiple audio tokens within a single model forward pass, which not only accelerates the inference but also significantly reduces the latency for generating the first audio in streaming scenarios. In addition, a four-stage progressive training strategy is explored to achieve model acceleration with minimal loss of speech quality. To our knowledge, VITA-Audio is the first multi-modal large language model capable of generating audio output during the first forward pass, enabling real-time conversational capabilities with minimal latency. VITA-Audio is fully reproducible and is trained on open-source data only. Experimental results demonstrate that our model achieves an inference speedup of 3~5x at the 7B parameter scale, but also significantly outperforms open-source models of similar model size on multiple benchmarks for automatic speech recognition (ASR), text-to-speech (TTS), and spoken question answering (SQA) tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google