TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling

要約

大規模な言語モデル（LLM）は、テキストベースの自然言語処理タスクに優れていますが、テキストの入力と出力への依存によって制約されたままです。
より自然な人間との相互作用を可能にするために、最近の進歩は、音声を聞くだけでなく発生することができる音声言語モデル（SLM）の導出に焦点を合わせています。
これを達成するために、有望な方向性は、音声テキストジョイントモデリングを実施することです。
ただし、最近のSLMは、モダリティの不一致により、Text LLMに遅れをとっています。
1つの重要な不一致は、音声トークンとテキストトークンの間のシーケンス長です。
これに対処するために、テキストに合わせた音声トークン化と埋め込み（味）を紹介します。これは、トークン化段階で音声トークンを対応するテキスト転写と整列させることにより、モダリティギャップに直接対処する方法です。
特別な集約メカニズムを通じて、トレーニングの目的として音声再構成を通じてこれを達成できる方法を提案します。
私たちは広範な実験を実施し、味が本質的な麻痺情報を維持しながら、トークンシーケンスの長さを劇的に削減できることを示しています。
さらに、味を活用することにより、テキストベースのLLMを、低ランク適応（LORA）などのパラメーター効率の高い微調整技術を使用して、効果的なSLMに適応させることができます。
サーモンやストーリークロゼを含むベンチマークタスクの実験結果は、味覚ベースのSLMが以前のフルフィネット方法と同様に機能することを示しています。
私たちの知る限り、Tasteは、再構成の目的を利用して、テキストに整列した音声トークン化と埋め込みの音声言語モデリングに自動的に学習する最初のエンドツーエンドアプローチです。
デモ、コード、およびモデルは、https：//github.com/mtkresearch/taste sphokenlmで公開されています。

要約(オリジナル)

Large Language Models (LLMs) excel in text-based natural language processing tasks but remain constrained by their reliance on textual inputs and outputs. To enable more natural human-LLM interaction, recent progress have focused on deriving a spoken language model (SLM) that can not only listen but also generate speech. To achieve this, a promising direction is to conduct speech-text joint modeling. However, recent SLM still lag behind text LLM due to the modality mismatch. One significant mismatch can be the sequence lengths between speech and text tokens. To address this, we introduce Text-Aligned Speech Tokenization and Embedding (TASTE), a method that directly addresses the modality gap by aligning speech token with the corresponding text transcription during the tokenization stage. We propose a method that can achieve this through the special aggregation mechanism and with speech reconstruction as the training objective. We conduct extensive experiments and show that TASTE can preserve essential paralinguistic information while dramatically reducing the token sequence length. Furthermore, by leveraging TASTE, we can adapt text-based LLMs into effective SLMs with parameter-efficient fine-tuning techniques such as Low-Rank Adaptation (LoRA). Experimental results on benchmark tasks, including SALMON and StoryCloze, demonstrate that TASTE-based SLMs perform similarly to previous full-finetuning methods. To our knowledge, TASTE is the first end-to-end approach that utilizes a reconstruction objective to automatically learn a text-aligned speech tokenization and embedding suitable for spoken language modeling. Our demo, code, and models are publicly available at https://github.com/mtkresearch/TASTE-SpokenLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google