Slamming: Training a Speech Language Model on One GPU in a Day

要約

24時間で単一のアカデミックGPUで高品質の音声言語モデル（SLM）をトレーニングするためのレシピであるSlamを紹介します。
モデルの初期化とアーキテクチャの経験的分析、合成トレーニングデータ、合成データによる優先最適化、および他のすべてのコンポーネントの調整を通じてこれを行います。
このトレーニングレシピは、コンピューティングコストの一部で主要なSLMと同等の結果を得るためにより多くのコンピューティングを獲得し、より多くのスケーリングを実証しています。
これらの洞察がSLMのトレーニングと研究をよりアクセスしやすくすることを願っています。
SLMスケーリング法のコンテキストでは、結果は、SLMの実現可能性を楽観的な見方を提供することを予測することをはるかに上回っています。
コード、データ、モデル、サンプルで – https：//pages.cs.huji.ac.il/adiyoss-lab/slammingを参照してください。

要約(オリジナル)

We introduce Slam, a recipe for training high-quality Speech Language Models (SLMs) on a single academic GPU in 24 hours. We do so through empirical analysis of model initialisation and architecture, synthetic training data, preference optimisation with synthetic data and tweaking all other components. We empirically demonstrate that this training recipe also scales well with more compute getting results on par with leading SLMs in a fraction of the compute cost. We hope these insights will make SLM training and research more accessible. In the context of SLM scaling laws, our results far outperform predicted compute optimal performance, giving an optimistic view to SLM feasibility. See code, data, models, samples at – https://pages.cs.huji.ac.il/adiyoss-lab/slamming .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google