Text-to-LoRA: Instant Transformer Adaption

要約

基礎モデルは、迅速なコンテンツ作成のための一般的なツールを提供しますが、タスク固有の適応を定期的に必要とします。
従来、この演習では、データセットの慎重なキュレーションと、基礎となるモデルの微調整を繰り返します。
微調整技術により、実践者は多くの新しいアプリケーションに基礎モデルを適応させることができますが、ハイパーパラメーターの選択に特に敏感なものであるが、高価で長いトレーニングを必要とすることができます。
これらの制限を克服するために、ターゲットタスクの自然言語の説明だけに基づいて、大規模な言語モデルをその場で適応させることができるモデルであるText-to-Lora（T2L）を紹介します。
T2Lは、1回の安価なフォワードパスでLORAを構築するためにトレーニングされたハイパーネットワークです。
9つの事前に訓練されたLORAアダプター（GSM8K、ARCなど）のスイートでT2Lをトレーニングした後、アドホック再構築されたLORAインスタンスが、対応するテストセット全体でタスク固有のアダプターのパフォーマンスと一致することを示します。
さらに、T2Lは何百ものLORAインスタンスを圧縮し、ゼロショットが完全に見えないタスクに一般化できます。
このアプローチは、基礎モデルの専門化を民主化するための重要なステップを提供し、最小限の計算要件で言語ベースの適応を可能にします。
私たちのコードは、https：//github.com/sakanaai/text-to-loraで入手できます

要約(オリジナル)

While Foundation Models provide a general tool for rapid content creation, they regularly require task-specific adaptation. Traditionally, this exercise involves careful curation of datasets and repeated fine-tuning of the underlying model. Fine-tuning techniques enable practitioners to adapt foundation models for many new applications but require expensive and lengthy training while being notably sensitive to hyper-parameter choices. To overcome these limitations, we introduce Text-to-LoRA (T2L), a model capable of adapting Large Language Models on the fly solely based on a natural language description of the target task. T2L is a hypernetwork trained to construct LoRAs in a single inexpensive forward pass. After training T2L on a suite of 9 pre-trained LoRA adapters (GSM8K, Arc, etc.), we show that the ad-hoc reconstructed LoRA instances match the performance of task-specific adapters across the corresponding test sets. Furthermore, T2L can compress hundreds of LoRA instances and zero-shot generalize to entirely unseen tasks. This approach provides a significant step towards democratizing the specialization of foundation models and enables language-based adaptation with minimal compute requirements. Our code is available at https://github.com/SakanaAI/text-to-lora

arxiv情報

提供元, 利用サービス

arxiv.jp, Google