Textually Pretrained Speech Language Models

要約

音声言語モデル (SpeechLM) は、テキストによる監視なしで音響データのみを処理および生成します。
この研究では、事前トレーニングされたテキスト言語モデルからのウォームスタートを使用して SpeechLM をトレーニングするための方法である TWIST を提案します。
自動評価と人間による評価の両方を使用して、TWIST がコールドスタートの SpeechLM よりも全面的に優れていることを示します。
私たちは、音声トークナイザー、事前トレーニングされたテキスト モデル、データセット サイズなど、さまざまなモデル設計の選択の影響を経験的に分析します。
より優れたパフォーマンスの SpeechLM を構築するには、モデルとデータセットのスケールの両方が重要な役割を果たしていることがわかりました。
私たちの観察に基づいて、パラメーターの数とトレーニング データの両方の点で (私たちの知る限り) 最大の SpeechLM を提示します。
さらに、モデルの評価をさらに改善し、この分野での将来の研究を前進させるために、StoryCloze テキスト ベンチマークの 2 つの音声バージョンを導入します。
私たちは音声サンプル、コード、モデルを公開しています: https://pages.cs.huji.ac.il/adiyoss-lab/twist/ 。

要約(オリジナル)

Speech language models (SpeechLMs) process and generate acoustic data only, without textual supervision. In this work, we propose TWIST, a method for training SpeechLMs using a warm-start from a pretrained textual language models. We show using both automatic and human evaluations that TWIST outperforms a cold-start SpeechLM across the board. We empirically analyze the effect of different model design choices such as the speech tokenizer, the pretrained textual model, and the dataset size. We find that model and dataset scale both play an important role in constructing better-performing SpeechLMs. Based on our observations, we present the largest (to the best of our knowledge) SpeechLM both in terms of number of parameters and training data. We additionally introduce two spoken versions of the StoryCloze textual benchmark to further improve model evaluation and advance future research in the field. We make speech samples, code and models publicly available: https://pages.cs.huji.ac.il/adiyoss-lab/twist/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google