SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks

要約

プロンプトは、事前トレーニングされた言語モデル (LM) を利用するための実用的な方法になりました。
このアプローチにはいくつかの利点があります。
これにより、LM は最小限のトレーニングとパラメータ更新で新しいタスクに適応できるようになり、ストレージと計算の両方で効率が向上します。
さらに、プロンプトは LM の入力のみを変更し、言語モデルの生成機能を利用して、統合された方法でさまざまな下流タスクに対処します。
これにより、タスク固有のモデルを設計する際の人的労働の必要性が大幅に軽減されます。
これらの利点は、LM によって処理されるタスクの数が増加するにつれてさらに明らかになります。
プロンプトの強みに動機付けられ、私たちは音声処理の領域でプロンプト音声 LM の可能性を初めて探求しました。
最近、言語モデリングのために音声を離散単位に変換することへの関心が高まっています。
私たちの先駆的な研究は、これらの量子化された音声単位が、統一されたプロンプト フレームワーク内で非常に多用途であることを実証しています。
これらはクラス ラベルとして機能するだけでなく、音声生成タスクのために音声信号に再合成できる豊富な音声情報も含まれています。
具体的には、音声処理タスクを音声からユニットへの生成タスクに再定式化します。
その結果、音声分類、シーケンス生成、音声生成などのタスクを単一の統一されたプロンプト フレームワーク内にシームレスに統合できます。
実験結果は、プロンプト手法が、同様の数の訓練可能なパラメータを持つ自己教師あり学習モデルに基づく強力な微調整手法と比較して、競争力のあるパフォーマンスを達成できることを示しています。
このプロンプト方法は、数ショット設定でも有望な結果を示しています。
さらに、高度な音声 LM が登場するにつれて、提案されたプロンプト フレームワークは大きな可能性を獲得します。

要約(オリジナル)

Prompting has become a practical method for utilizing pre-trained language models (LMs). This approach offers several advantages. It allows an LM to adapt to new tasks with minimal training and parameter updates, thus achieving efficiency in both storage and computation. Additionally, prompting modifies only the LM’s inputs and harnesses the generative capabilities of language models to address various downstream tasks in a unified manner. This significantly reduces the need for human labor in designing task-specific models. These advantages become even more evident as the number of tasks served by the LM scales up. Motivated by the strengths of prompting, we are the first to explore the potential of prompting speech LMs in the domain of speech processing. Recently, there has been a growing interest in converting speech into discrete units for language modeling. Our pioneer research demonstrates that these quantized speech units are highly versatile within our unified prompting framework. Not only can they serve as class labels, but they also contain rich phonetic information that can be re-synthesized back into speech signals for speech generation tasks. Specifically, we reformulate speech processing tasks into speech-to-unit generation tasks. As a result, we can seamlessly integrate tasks such as speech classification, sequence generation, and speech generation within a single, unified prompting framework. The experiment results show that the prompting method can achieve competitive performance compared to the strong fine-tuning method based on self-supervised learning models with a similar number of trainable parameters. The prompting method also shows promising results in the few-shot setting. Moreover, with the advanced speech LMs coming into the stage, the proposed prompting framework attains great potential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google