TeamLoRA: Boosting Low-Rank Adaptation with Expert Collaboration and Competition

要約

LoRA のようなパラメータ効率の良い微調整 (PEFT) 手法は、微調整中に GPU メモリの制約に効果的に対処しますが、特に多次元タスク ​​シナリオではパフォーマンスが不十分になることがよくあります。
この問題に対処するための 1 つの直接的な解決策は、タスク固有の LoRA モジュールをドメイン エキスパートとして導入し、複数のエキスパートの能力のモデリングを活用して、マルチタスク学習の一般的な能力を強化することです。
有望であるにもかかわらず、これらの追加コンポーネントはトレーニングと推論のプロセスを複雑にすることが多く、設計された PEFT の効率的な特性評価に反します。
これを考慮して、我々は、専門家向けのコラボレーションと競争モジュールから構成される革新的なPEFT手法であるTeamLoRAを導入し、有効性と効率性の適切なバランスを実現します。 (i) コラボレーションのために、新しい知識共有および組織化メカニズムが考案されます。
行列演算の規模を適切に削減し、それによってトレーニングと推論の速度を向上させます。
(ii) 競争については、専門家向けのゲーム理論の相互作用メカニズムを活用し、専門家が下流の多様なタスクに直面しながらドメイン固有の知識を伝達することを奨励し、それによってパフォーマンスを向上させることを提案します。
これにより、TeamLoRA は専門家を「チーム」として社内のコラボレーションや競争とエレガントに結び付け、マルチタスク学習のためのより高速かつ正確な PEFT パラダイムを可能にします。
TeamLoRA の優位性を検証するために、私たちはマルチタスク学習の能力を徹底的に評価するための包括的なマルチタスク評価 (CME) ベンチマークを厳選しました。
CME およびその他のベンチマークで実施された実験は、TeamLoRA の有効性と効率性を示しています。
私たちのプロジェクトは https://github.com/Lin-Tianwei/TeamLoRA で入手できます。

要約(オリジナル)

While Parameter-Efficient Fine-Tuning (PEFT) methods like LoRA have effectively addressed GPU memory constraints during fine-tuning, their performance often falls short, especially in multidimensional task scenarios. To address this issue, one straightforward solution is to introduce task-specific LoRA modules as domain experts, leveraging the modeling of multiple experts’ capabilities and thus enhancing the general capability of multi-task learning. Despite promising, these additional components often add complexity to the training and inference process, contravening the efficient characterization of PEFT designed for. Considering this, we introduce an innovative PEFT method, TeamLoRA, consisting of a collaboration and competition module for experts, and thus achieving the right balance of effectiveness and efficiency: (i) For collaboration, a novel knowledge-sharing and -organizing mechanism is devised to appropriately reduce the scale of matrix operations, thereby boosting the training and inference speed. (ii) For competition, we propose leveraging a game-theoretic interaction mechanism for experts, encouraging experts to transfer their domain-specific knowledge while facing diverse downstream tasks, and thus enhancing the performance. By doing so, TeamLoRA elegantly connects the experts as a ‘Team’ with internal collaboration and competition, enabling a faster and more accurate PEFT paradigm for multi-task learning. To validate the superiority of TeamLoRA, we curate a comprehensive multi-task evaluation(CME) benchmark to thoroughly assess the capability of multi-task learning. Experiments conducted on our CME and other benchmarks indicate the effectiveness and efficiency of TeamLoRA. Our project is available at https://github.com/Lin-Tianwei/TeamLoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google