MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning

要約

パラメーター効率の高い微調整（PEFT）は、ドメインの適応に広く採用されており、ロラはそのシンプルさと有効性のために最も顕著な方法の1つです。
ただし、マルチタスクラーニング（MTL）シナリオでは、LORAは、異なるタスクからまばらな高次元の特徴を同じ密度の低次元の固有空間に投影することにより、タスク間の区別を曖昧にする傾向があります。
これにより、LORAとそのバリアントのタスク干渉と最適ではないパフォーマンスが発生します。
この課題に取り組むために、MTL-LORAを提案します。これは、低ランク適応の利点を保持しながら、MTL機能を大幅に向上させます。
MTL-LORAは、タスク固有の情報を区別する追加のタスク適応パラメーターを組み込み、低次元スペース内のさまざまなタスクで共有知識をキャプチャすることにより、LORAを補強します。
このアプローチにより、事前に訓練されたモデルは、限られた数のトレーニング可能なパラメーターを持つさまざまなターゲットドメインに共同で適応することができます。
自然言語の理解、常識的な推論、画像テキストの理解、および現実世界の産業テキスト広告関連データセットのための公開アカデミックベンチマークに関する評価を含む包括的な実験結果は、MTL-LORAがMTL設定で同等または学習可能なパラメーターを比較可能またはさらに少ないさまざまなバリエーションを上回ることを示しています。

要約(オリジナル)

Parameter-efficient fine-tuning (PEFT) has been widely employed for domain adaptation, with LoRA being one of the most prominent methods due to its simplicity and effectiveness. However, in multi-task learning (MTL) scenarios, LoRA tends to obscure the distinction between tasks by projecting sparse high-dimensional features from different tasks into the same dense low-dimensional intrinsic space. This leads to task interference and suboptimal performance for LoRA and its variants. To tackle this challenge, we propose MTL-LoRA, which retains the advantages of low-rank adaptation while significantly enhancing MTL capabilities. MTL-LoRA augments LoRA by incorporating additional task-adaptive parameters that differentiate task-specific information and capture shared knowledge across various tasks within low-dimensional spaces. This approach enables pre-trained models to jointly adapt to different target domains with a limited number of trainable parameters. Comprehensive experimental results, including evaluations on public academic benchmarks for natural language understanding, commonsense reasoning, and image-text understanding, as well as real-world industrial text Ads relevance datasets, demonstrate that MTL-LoRA outperforms LoRA and its various variants with comparable or even fewer learnable parameters in MTL setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google