Balancing stability and plasticity in continual learning: the readout-decomposition of activation change (RDAC) framework

要約

継続学習 (CL) アルゴリズムは、以前の情報を保存しながら新しい知識を獲得しようとします。
しかし、この安定性と可塑性のトレードオフは依然として中心的な課題です。
このペーパーでは、このトレードオフを詳しく分析し、CL アルゴリズムに関する貴重な洞察を提供するフレームワークを紹介します。
Readout-Decomposition of Activation Change (RDAC) フレームワークは、まず安定性と可塑性のジレンマとその壊滅的な忘却との関係に対処します。
これは、以前の読み出し範囲内の学習によって引き起こされる活性化の変化を安定性の程度に関連付け、ヌル空間の変化を可塑性の程度に関連付けます。
分割 CIFAR-110 タスクに取り組む深層非線形ネットワークにおいて、このフレームワークは、一般的な正則化アルゴリズムであるシナプス インテリジェンス (SI)、弾性重み統合 (EWC)、および忘れない学習 (LwF) の安定性と可塑性のトレードオフを明確にします。
、再生ベースのアルゴリズム、勾配エピソード記憶 (GEM)、およびデータ再生。
GEM とデータ再生は安定性と可塑性を維持しますが、SI、EWC、および LwF は安定性と引き換えに可塑性を犠牲にしました。
正則化アルゴリズムが可塑性を維持できないことは、以前の読み出しのヌル空間でのアクティベーションの変更を制限することに関連していました。
さらに、1 隠れ層線形ニューラル ネットワークの場合、可塑性をさらに犠牲にせずに高い安定性を維持するために、以前の読み出しの範囲内でのみ活性化の変化を制限する勾配分解アルゴリズムを導き出しました。
結果は、アルゴリズムが可塑性を大幅に損なうことなく安定性を維持したことを示しています。
RDAC フレームワークは、既存の CL アルゴリズムの動作を通知し、新しい CL アプローチへの道を開きます。
最後に、学習によって引き起こされる活性化/表現の変化と安定性と可塑性のジレンマとの関係に光を当て、生物システムにおける表現のドリフトについての洞察も提供します。

要約(オリジナル)

Continual learning (CL) algorithms strive to acquire new knowledge while preserving prior information. However, this stability-plasticity trade-off remains a central challenge. This paper introduces a framework that dissects this trade-off, offering valuable insights into CL algorithms. The Readout-Decomposition of Activation Change (RDAC) framework first addresses the stability-plasticity dilemma and its relation to catastrophic forgetting. It relates learning-induced activation changes in the range of prior readouts to the degree of stability and changes in the null space to the degree of plasticity. In deep non-linear networks tackling split-CIFAR-110 tasks, the framework clarifies the stability-plasticity trade-offs of the popular regularization algorithms Synaptic intelligence (SI), Elastic-weight consolidation (EWC), and learning without Forgetting (LwF), and replay-based algorithms Gradient episodic memory (GEM), and data replay. GEM and data replay preserved stability and plasticity, while SI, EWC, and LwF traded off plasticity for stability. The inability of the regularization algorithms to maintain plasticity was linked to them restricting the change of activations in the null space of the prior readout. Additionally, for one-hidden-layer linear neural networks, we derived a gradient decomposition algorithm to restrict activation change only in the range of the prior readouts, to maintain high stability while not further sacrificing plasticity. Results demonstrate that the algorithm maintained stability without significant plasticity loss. The RDAC framework informs the behavior of existing CL algorithms and paves the way for novel CL approaches. Finally, it sheds light on the connection between learning-induced activation/representation changes and the stability-plasticity dilemma, also offering insights into representational drift in biological systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google