SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts

要約

大規模言語モデル (LLM) は、特に ChatGPT の出現により、人工知能生成コンテンツ (AIGC) に関してかなりの注目を集めています。
ただし、離散トークンを処理する LLM に連続音声を直接適応させることは未解決の課題であり、音声生成への LLM の適用を妨げています。
高度な音声 LM はその一角にあります。音声信号には、テキスト データだけではなく、話者や感情などの豊富な情報がカプセル化されているからです。
迅速な調整により、一部の音声分類タスクにおけるパラメーター効率と競争力の顕著な向上が実証されました。
ただし、プロンプトが音声 LM から生成タスクをどの程度効果的に引き出すことができるかは未解決の問題のままです。
この論文では、約 1,000 万のトレーニング可能なパラメーターを備えた SpeechGen と呼ばれる統一フレームワーク内で、さまざまな生成タスクの音声 LM を刺激するためのプロンプト チューニングのアプリケーションを探る先駆的な研究を紹介します。
提案された統一フレームワークは、特にフレームワークの機能を大幅に強化する高度な音声 LM が間もなく登場するため、効率と有効性が大いに期待できます。
SpeechGen のコードとデモはプロジェクトの Web サイトで入手できます: \url{https://ga642381.github.io/SpeechPrompt/speechgen}

要約(オリジナル)

Large language models (LLMs) have gained considerable attention for Artificial Intelligence Generated Content (AIGC), particularly with the emergence of ChatGPT. However, the direct adaptation of continuous speech to LLMs that process discrete tokens remains an unsolved challenge, hindering the application of LLMs for speech generation. The advanced speech LMs are in the corner, as that speech signals encapsulate a wealth of information, including speaker and emotion, beyond textual data alone. Prompt tuning has demonstrated notable gains in parameter efficiency and competitive performance on some speech classification tasks. However, the extent to which prompts can effectively elicit generation tasks from speech LMs remains an open question. In this paper, we present pioneering research that explores the application of prompt tuning to stimulate speech LMs for various generation tasks, within a unified framework called SpeechGen, with around 10M trainable parameters. The proposed unified framework holds great promise for efficiency and effectiveness, particularly with the imminent arrival of advanced speech LMs, which will significantly enhance the capabilities of the framework. The code and demos of SpeechGen will be available on the project website: \url{https://ga642381.github.io/SpeechPrompt/speechgen}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google