In-Context Meta LoRA Generation

要約

低ランク適応（LORA）は、タスク固有の微調整の顕著な能力を実証しています。
ただし、複数のタスクを伴うシナリオでは、それぞれに対して個別のLORAモデルをトレーニングすると、ストレージと推論の点でかなりの非効率性が得られます。
さらに、既存のパラメーター生成メソッドは、これらのタスク間の相関をキャプチャできず、マルチタスクLORAパラメーター生成が困難になります。
これらの制限に対処するために、大規模な言語モデル（LLM）のタスク固有のカスタマイズを効率的に達成する新しいアプローチであるコンテキスト内のメタロラ（ICM-LORA）を提案します。
具体的には、すべてのタスクからのトレーニングデータを使用して、テーラードジェネレーターである条件付き変動自動エンコーダー（CVAE）をトレーニングします。
CVAEはタスクの説明を入力として取り、タスクを認識しているLORAウェイトを出力として生成します。
次に、これらのLORAの重みをLLMとマージして、追加の微調整を必要とせずにタスク専門モデルを作成します。
さらに、知識の強化とタスクマッピングにコンテキスト内のメタラーニングを利用して、タスクとパラメーター分布の関係をキャプチャします。
その結果、私たちの方法は、CVAEを使用した多様なタスクに対してより正確なLORAパラメーター生成を実現します。
ICM-LORAは、現在のパラメーター再構築方法よりも正確なLORAパラメーター再構成を有効にし、LORAパラメーターのタスク固有の強化を実装するのに役立ちます。
同時に、私たちの方法は283MBで、元のロラと比較して1 \％ストレージのみを占めています。

要約(オリジナル)

Low-rank Adaptation (LoRA) has demonstrated remarkable capabilities for task specific fine-tuning. However, in scenarios that involve multiple tasks, training a separate LoRA model for each one results in considerable inefficiency in terms of storage and inference. Moreover, existing parameter generation methods fail to capture the correlations among these tasks, making multi-task LoRA parameter generation challenging. To address these limitations, we propose In-Context Meta LoRA (ICM-LoRA), a novel approach that efficiently achieves task-specific customization of large language models (LLMs). Specifically, we use training data from all tasks to train a tailored generator, Conditional Variational Autoencoder (CVAE). CVAE takes task descriptions as inputs and produces task-aware LoRA weights as outputs. These LoRA weights are then merged with LLMs to create task-specialized models without the need for additional fine-tuning. Furthermore, we utilize in-context meta-learning for knowledge enhancement and task mapping, to capture the relationship between tasks and parameter distributions. As a result, our method achieves more accurate LoRA parameter generation for diverse tasks using CVAE. ICM-LoRA enables more accurate LoRA parameter reconstruction than current parameter reconstruction methods and is useful for implementing task-specific enhancements of LoRA parameters. At the same time, our method occupies 283MB, only 1\% storage compared with the original LoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google