S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning

要約

ファンデーションモデルを使用した継続的な学習は、最近、シーケンシャルタスクの事前に訓練されたモデルの力を活用するための有望なアプローチとして浮上しました。
既存のプロンプトベースの方法は、通常、ゲーティングメカニズムを使用して、テストクエリに合わせた関連プロンプトを選択して、さらに処理するために選択します。
ただし、これらの方法の成功は、ゲーティングメカニズムの精度に大きく依存します。これは、タスクが増加するにつれて追加の計算オーバーヘッドではスケーラブルではなくなります。
これらの問題を克服するために、LORAパラメーターの方向と大きさの学習を徐々に隔離するCL（特にクラスの増分学習）のスケーラブルな低ランク適応（S-LORA）メソッドを提案します。
S-LORAは、ゲーティングプロセスなしで直接テストのために最終段階訓練モデルを使用することにより、効率的な推論をサポートします。
私たちの理論的および経験的分析は、S-LORAが重複した低損失領域に収束する低損失軌道に従う傾向があり、CLで優れた安定性プラスチックのトレードオフをもたらすことを示しています。
さらに、調査結果に基づいて、S-LORAのバリエーションをさらに改善し、スケーラビリティを改善します。
複数のCLベンチマークとさまざまな基礎モデルにわたる広範な実験は、S-LORAの有効性を一貫して検証しています。

要約(オリジナル)

Continual Learning with foundation models has recently emerged as a promising approach to harnessing the power of pre-trained models for sequential tasks. Existing prompt-based methods generally use a gating mechanism to select relevant prompts aligned with the test query for further processing. However, the success of these methods largely depends on the precision of the gating mechanism, which becomes less scalable with additional computational overhead as tasks increases. To overcome these issues, we propose a Scalable Low-Rank Adaptation (S-LoRA) method for CL (in particular class incremental learning), which incrementally decouples the learning of the direction and magnitude of LoRA parameters. S-LoRA supports efficient inference by employing the last-stage trained model for direct testing without a gating process. Our theoretical and empirical analysis demonstrates that S-LoRA tends to follow a low-loss trajectory that converges to an overlapped low-loss region, resulting in an excellent stability-plasticity trade-off in CL. Furthermore, based on our findings, we develop variants of S-LoRA with further improved scalability. Extensive experiments across multiple CL benchmarks and various foundation models consistently validate the effectiveness of S-LoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google