How to Connect Speech Foundation Models and Large Language Models? What Matters and What Does Not

要約

大規模言語モデル (LLM) によって達成される顕著なパフォーマンスにより、LLM を幅広いタスクや入力モダリティに活用する研究努力が推進されています。
speech-to-text (S2T) タスクにおける新しいソリューションは、Speech Foundational Model (SFM) のエンコーダーの出力を、アダプター モジュールを介して LLM 埋め込み空間に投影することで構成されます。
ただし、ダウンストリーム タスクのパフォーマンスが各コンポーネント (SFM、アダプター、LLM) にどの程度依存するか、アダプターの最適な設計が選択された SFM と LLM に依存するかどうかについては、まだ調査されていません。
このギャップを埋めるために、2 つの広く普及している S2T タスク、つまり自動音声認識と音声翻訳で、5 つのアダプター モジュール、2 つの LLM (Mistral と Llama)、および 2 つの SFM (Whisper と SeamlessM4T) の組み合わせを評価します。
私たちの結果は、SFM がダウンストリームのパフォーマンスにおいて極めて重要な役割を果たしている一方で、アダプターの選択が中程度の影響を及ぼし、SFM と LLM に依存していることを示しています。

要約(オリジナル)

The remarkable performance achieved by Large Language Models (LLM) has driven research efforts to leverage them for a wide range of tasks and input modalities. In speech-to-text (S2T) tasks, the emerging solution consists of projecting the output of the encoder of a Speech Foundational Model (SFM) into the LLM embedding space through an adapter module. However, no work has yet investigated how much the downstream-task performance depends on each component (SFM, adapter, LLM) nor whether the best design of the adapter depends on the chosen SFM and LLM. To fill this gap, we evaluate the combination of 5 adapter modules, 2 LLMs (Mistral and Llama), and 2 SFMs (Whisper and SeamlessM4T) on two widespread S2T tasks, namely Automatic Speech Recognition and Speech Translation. Our results demonstrate that the SFM plays a pivotal role in downstream performance, while the adapter choice has moderate impact and depends on the SFM and LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google