ORAL: Prompting Your Large-Scale LoRAs via Conditional Recurrent Diffusion

要約

パラメーター生成は、ニューラルネットワーク開発の新しいパラダイムとして浮上しており、高品質のモデルの重みを直接合成することにより、従来のニューラルネットワークトレーニングに代わるものを提供しています。
進化するための低ランクの適応（LORA）のコンテキスト（$ \ textit {i.e。} $、絶えず更新）大規模な言語モデル（LLMS）では、このアプローチは、費用のかかる再訓練なしで効率的な適応を約束します。
ただし、既存の方法は、スケーラビリティと制御可能性を同時に達成する上での重大な制限に直面しています。
このホワイトペーパーでは、これらの課題に対処する新しい$ \ textBf {条件付き再生拡散} $フレームワークである$ \ texttt {oral} $を紹介します。
$ \ texttt {Oral} $には、モデルアーキテクチャとテキストタスクの仕様を統合する新しい条件付けメカニズムが組み込まれており、進化する基礎モデル全体に​​シームレスに転送できるタスク固有のLORAパラメーターの生成を可能にします。
私たちのアプローチは、数十億のパラメーターLLMに成功し、制御可能性を維持します。
7つの言語タスク、4つのビジョンタスク、および5つの事前に訓練されたLLMSを使用した3つのマルチモーダルタスクにわたる広範な実験を通じて、$ \ texttt {oral} $は、バニラトレーニングされたカウンターパートに匹敵するまたは優れたパフォーマンスを達成する高品質のロラパラメーターを生成することを実証します。

要約(オリジナル)

Parameter generation has emerged as a novel paradigm for neural network development, offering an alternative to traditional neural network training by synthesizing high-quality model weights directly. In the context of Low-Rank Adaptation (LoRA) for evolving ($\textit{i.e.}$, constantly updated) large language models (LLMs), this approach promises efficient adaptation without costly retraining. However, existing methods face critical limitations in simultaneously achieving scalability and controllability. In this paper, we introduce $\texttt{ORAL}$, a novel $\textbf{conditional recurrent diffusion}$ framework that addresses these challenges. $\texttt{ORAL}$ incorporates a novel conditioning mechanism that integrates model architecture and textual task specifications, enabling the generation of task-specific LoRA parameters that can seamlessly transfer across evolving foundation models. Our approach successfully scales to billions-of-parameter LLMs and maintains controllability. Through extensive experiments across seven language tasks, four vision tasks, and three multimodal tasks using five pre-trained LLMs, we demonstrate that $\texttt{ORAL}$ generates high-quality LoRA parameters that achieve comparable or superior performance to vanilla trained counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google