Utility-based Perturbed Gradient Descent: An Optimizer for Continual Learning

要約

タイトル： Utility-based Perturbed Gradient Descent：継続的学習のための最適化手法

要約：

– 現代の表現学習方法は、非定常状態下で迅速に適応することができず、カタストロフィックな忘却や減衰性可塑性の問題を抱えています。
– これらの問題は、学習者が有用な特徴を忘れたり、新しい特徴の学習に苦労したりするため、迅速な適応を妨げます。したがって、これらの方法は継続的学習には適していません。
– 本論文では、継続的学習エージェントに適したオンライン学習アルゴリズムであるUtility-based Perturbed Gradient Descent（UPGD）を提案しています。
– UPGDは、有用な重みや特徴を忘れないように保護し、ユーティリティに基づいてあまり役に立たないものを摂動させます。
– 実証結果は、UPGDが忘却を減らし、可塑性を維持するのに役立ち、現代の表現学習方法を継続的学習に効果的に適用できることを示しています。

要約(オリジナル)

Modern representation learning methods often struggle to adapt quickly under non-stationarity because they suffer from catastrophic forgetting and decaying plasticity. Such problems prevent learners from fast adaptation since they may forget useful features or have difficulty learning new ones. Hence, these methods are rendered ineffective for continual learning. This paper proposes Utility-based Perturbed Gradient Descent (UPGD), an online learning algorithm well-suited for continual learning agents. UPGD protects useful weights or features from forgetting and perturbs less useful ones based on their utilities. Our empirical results show that UPGD helps reduce forgetting and maintain plasticity, enabling modern representation learning methods to work effectively in continual learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI