MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models

要約

事前トレーニング + 微調整パラダイムは、さまざまなダウンストリーム アプリケーションにわたって大規模言語モデル (LLM) を展開する際の基礎となります。
これらの中でも、低ランク適応 (LoRA) はパラメーター効率の良い微調整 (PEFT) で際立っており、既製のタスク固有の LoRA アダプターを多数生成しています。
ただし、このアプローチには明示的なタスク意図の選択が必要であり、単一の LLM に組み込まれた複数の既存の LoRA アダプターによる推論中の自動タスクの検出と切り替えに課題が生じます。
この研究では、LLM 用に設計されたスケーラブルなマルチ知識 LoRA 融合フレームワークである MeteoRA (Multiple-Tasksembedded LoRA) を紹介します。
MeteoRA は、Mixture-of-Experts (MoE) スタイルでさまざまな LoRA アダプターをベース LLM に統合し、モデルがタスク入力に基づいて最も適切なアダプターを自動的に選択できるようにします。
この進歩により、問題のさまざまなコンポーネントを解決するためにさまざまなアダプターを必要とする複合タスクを処理する LLM の機能が大幅に強化されます。
MeteoRA を介して既製の 28 LoRA アダプターを装備した LlaMA2-13B および LlaMA3-8B ベース モデルを特徴とする当社の評価では、個々のアダプターで同等のパフォーマンスを実証しました。
さらに、MeteoRA を搭載した両方の基本モデルは、1 回の推論プロセスで 10 個の問題を含む複合タスクを順次解決する優れたパフォーマンスを達成し、MeteoRA 組み込み LLM におけるタイムリーな意図切り替えの能力を強調しています。

要約(オリジナル)

The pretrain+fine-tune paradigm is foundational in deploying large language models (LLMs) across a diverse range of downstream applications. Among these, Low-Rank Adaptation (LoRA) stands out for its parameter-efficient fine-tuning (PEFT), producing numerous off-the-shelf task-specific LoRA adapters. However, this approach requires explicit task intention selection, posing challenges for automatic task sensing and switching during inference with multiple existing LoRA adapters embedded in a single LLM. In this work, we introduce MeteoRA (Multiple-Tasks embedded LoRA), a scalable multi-knowledge LoRA fusion framework designed for LLMs. MeteoRA integrates various LoRA adapters in a Mixture-of-Experts (MoE) style into the base LLM, enabling the model to automatically select the most pertinent adapter based on the task input. This advancement significantly enhances the LLM’s capability to handle composite tasks that require different adapters to solve various components of the problem. Our evaluations, featuring the LlaMA2-13B and LlaMA3-8B base models equipped with off-the-shelf 28 LoRA adapters through MeteoRA, demonstrate equivalent performance with the individual adapters. Furthermore, both base models equipped with MeteoRA achieve superior performance in sequentially solving composite tasks with ten problems in only a single inference process, highlighting the ability of timely intention switching in MeteoRA embedded LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google