Parameter-Efficient Continual Fine-Tuning: A Survey

要約

大規模な事前に訓練されたネットワークの出現により、AIフィールドに革命をもたらし、新しい可能性のロックを解除し、前例のないパフォーマンスを達成しました。
ただし、これらのモデルは、従来の機械学習アプローチから基本的な制限を継承します。\ textit {i.i.d。}の仮定への強い依存性は、動的学習シナリオへの適応性を妨げます。
AIの次のブレークスルーは、新しいデータとタスクが順番に到着する現実世界などの進化する環境への効率的な適応を可能にすることにあると考えています。
この課題は、生涯学習ニューラルモデルの開発に焦点を当てた機械学習パラダイムである継続学習分野（CL）を定義しています。
これらの大規模モデルを効率的に適応させるための1つの代替手段は、パラメーター効率の高い微調整（PEFT）です。
これらの方法は、小さく効率的な変更を実行することにより、モデルを特定のデータまたはシナリオに適応させる問題に取り組み、完全な微調整と同様のパフォーマンスを達成します。
ただし、これらの手法は、壊滅的な忘却の問題に苦しむため、モデルを複数のタスクに継続的に調整する能力を依然として欠いています。
この調査では、最初に、パラメーター効率の高い継続的な微調整（PECFT）で最先端の最先端をレビューする前に、CLアルゴリズムとPEFTメソッドの概要を説明します。
さまざまなアプローチを調べ、評価メトリックについて議論し、潜在的な将来の研究の方向性を調査します。
私たちの目標は、CLとパラメーター効率の高い微調整の相乗効果を強調し、この分野の研究者をガイドし、新しい将来の研究の方向性への道を開くことです。

要約(オリジナル)

The emergence of large pre-trained networks has revolutionized the AI field, unlocking new possibilities and achieving unprecedented performance. However, these models inherit a fundamental limitation from traditional Machine Learning approaches: their strong dependence on the \textit{i.i.d.} assumption hinders their adaptability to dynamic learning scenarios. We believe the next breakthrough in AI lies in enabling efficient adaptation to evolving environments — such as the real world — where new data and tasks arrive sequentially. This challenge defines the field of Continual Learning (CL), a Machine Learning paradigm focused on developing lifelong learning neural models. One alternative to efficiently adapt these large-scale models is known Parameter-Efficient Fine-Tuning (PEFT). These methods tackle the issue of adapting the model to a particular data or scenario by performing small and efficient modifications, achieving similar performance to full fine-tuning. However, these techniques still lack the ability to adjust the model to multiple tasks continually, as they suffer from the issue of Catastrophic Forgetting. In this survey, we first provide an overview of CL algorithms and PEFT methods before reviewing the state-of-the-art on Parameter-Efficient Continual Fine-Tuning (PECFT). We examine various approaches, discuss evaluation metrics, and explore potential future research directions. Our goal is to highlight the synergy between CL and Parameter-Efficient Fine-Tuning, guide researchers in this field, and pave the way for novel future research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google