Preserving Plasticity in Continual Learning with Adaptive Linearity Injection

要約

深いニューラルネットワークの可塑性の喪失は、モデルの段階的に学習する能力の徐々に減少し、非定常問題設定での学習の重要な障害として特定されています。
最近の研究は、深い線形ネットワークが可塑性の喪失に対して回復力がある傾向があることを示しています。
この観察に動機付けられて、各ニューロンの活性化関数を動的に適応させて可塑性喪失を軽減する一般的なアプローチである適応線形化（Adalin）を提案します。
正規化や定期的なリセットに依存する以前の方法とは異なり、アダリンはすべてのニューロンに学習可能なパラメーターと、その勾配の流れに基づいて線形性を活性化関数に注入するゲーティングメカニズムを装備します。
この適応変調により、追加のハイパーパラメーターを導入したり、明示的なタスク境界を必要とせずに、十分な勾配信号を保証し、継続的な学習を維持します。
Relu、Tanh、Geluなどの従来のアクティベーション関数で使用すると、アダリンがランダムラベルと順応のMNIST、ランダムラベルとシャッフルCIFAR-10、クラススプリットCIFAR-100を含む標準ベンチマークのパフォーマンスを大幅に改善できることを実証します。
さらに、その有効性は、ResNet-18バックボーンを備えたCIFAR-100のクラスインクリメント学習や、ポリシーオフフィーリー強化学習エージェントの可塑性損失の緩和など、より複雑なシナリオで示されています。
ニューロンレベルの適応が優れたパフォーマンスに不可欠であることを示すアブレーションの体系的なセットを実行し、可塑性の喪失と相関する可能性のあるネットワーク内の多くのメトリックを分析します。

要約(オリジナル)

Loss of plasticity in deep neural networks is the gradual reduction in a model’s capacity to incrementally learn and has been identified as a key obstacle to learning in non-stationary problem settings. Recent work has shown that deep linear networks tend to be resilient towards loss of plasticity. Motivated by this observation, we propose Adaptive Linearization (AdaLin), a general approach that dynamically adapts each neuron’s activation function to mitigate plasticity loss. Unlike prior methods that rely on regularization or periodic resets, AdaLin equips every neuron with a learnable parameter and a gating mechanism that injects linearity into the activation function based on its gradient flow. This adaptive modulation ensures sufficient gradient signal and sustains continual learning without introducing additional hyperparameters or requiring explicit task boundaries. When used with conventional activation functions like ReLU, Tanh, and GeLU, we demonstrate that AdaLin can significantly improve performance on standard benchmarks, including Random Label and Permuted MNIST, Random Label and Shuffled CIFAR-10, and Class-Split CIFAR-100. Furthermore, its efficacy is shown in more complex scenarios, such as class-incremental learning on CIFAR-100 with a ResNet-18 backbone, and in mitigating plasticity loss in off-policy reinforcement learning agents. We perform a systematic set of ablations that show that neuron-level adaptation is crucial for good performance and analyze a number of metrics in the network that might be correlated to loss of plasticity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google