VocalNet: Speech LLM with Multi-Token Prediction for Faster and High-Quality Generation

要約

音声大規模な言語モデル（LLM）は、音声処理における顕著な研究の焦点として浮上しています。
リアルタイムの音声相互作用のために設計されたスケーラブルでモデルと存在するトレーニングフレームワークによって有効になっている一連の高性能で低遅延の音声LLMSであるVocalNet-1BとVocalNet-8Bを紹介します。
私たちの貢献の中心は、スピーチLLMSへのマルチトークン予測（MTP）の最初の適用です。
このアプローチは、標準的な隣接予測（NTP）からのパラダイムシフトを表し、生成速度と品質の同時改善を提供します。
音声生成と実験的比較に対するMTPの効果の分析により、私たちは簡単で非常に効果的なMTP実装を設計しました。
実験では、VocalNetがトレーニングデータが限られていても、主流のOmni LLMと同等に機能し、既存のオープンソースのスピーチLLMを大幅に上回ることを示しています。
再現性とコミュニティの進歩を促進するために、すべてのモデルの重み、推論コード、トレーニングデータ、フレームワークの実装がhttps://github.com/sjtu-omniagent/vocalnetで公開されています

要約(オリジナル)

Speech large language models (LLMs) have emerged as a prominent research focus in speech processing. We introduce VocalNet-1B and VocalNet-8B, a series of high-performance, low-latency speech LLMs enabled by a scalable and model-agnostic training framework designed for real-time voice interaction. Central to our contribution is the first application of multi-token prediction (MTP) to speech LLMs. This approach represents a paradigm shift from standard next-token prediction (NTP), offering simultaneous improvements in generation speed and quality. Informed by analysis of MTP’s effect on speech generation and experimental comparisons, we designed a straightforward and highly effective MTP implementation. Experiments demonstrate that VocalNet performs on par with mainstream Omni LLMs even with limited training data, and significantly surpasses existing open-source speech LLMs. To foster reproducibility and community advancement, all model weights, inference code, training data, and framework implementations have been made publicly available at https://github.com/SJTU-OmniAgent/VocalNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google