Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization

要約

長期的な自律性を追求するためには、ロボットエージェントは絶えず変化する環境に適応し、新しいタスクを解決するために学習しなければならない。継続的学習は、新しいタスクを解決するために学習すると、モデルが以前に学習した情報を忘れてしまうという壊滅的忘却の課題を克服しようとするものである。事前学習ベースの継続的学習法は、スペース効率が良く、タスク数が増えても計算量が増加しないため、ロボットアプリケーションにとって魅力的である。このような望ましい特性にもかかわらず、事前学習ベースの手法は、一般的に重要なベンチマークで失敗し、その結果、メモリベースの手法と比較して、応用の可能性が制限される。我々は、ベイズ適応モーメント正則化(Bayesian adaptive moment regularization: BAdam)を導入する。これは、パラメータの成長をより良く抑制し、壊滅的な忘却をより少なくする、新しい事前分布ベースの手法である。本手法は、軽量でタスクラベルが不要であること、収束が早いこと、安全な実世界配備に重要な較正不確かさを提供することなど、ロボットアプリケーションに望ましい特性を誇っている。その結果、BAdamはSplit MNISTやSplit FashionMNISTのような困難なシングルヘッドクラスインクリメンタル実験において、事前学習ベースの手法としては最先端の性能を達成し、タスクラベルや離散的なタスク境界に依存することなくこれを実現した。

要約(オリジナル)

The pursuit of long-term autonomy mandates that robotic agents must continuously adapt to their changing environments and learn to solve new tasks. Continual learning seeks to overcome the challenge of catastrophic forgetting, where learning to solve new tasks causes a model to forget previously learnt information. Prior-based continual learning methods are appealing for robotic applications as they are space efficient and typically do not increase in computational complexity as the number of tasks grows. Despite these desirable properties, prior-based approaches typically fail on important benchmarks and consequently are limited in their potential applications compared to their memory-based counterparts. We introduce Bayesian adaptive moment regularization (BAdam), a novel prior-based method that better constrains parameter growth, leading to lower catastrophic forgetting. Our method boasts a range of desirable properties for robotic applications such as being lightweight and task label-free, converging quickly, and offering calibrated uncertainty that is important for safe real-world deployment. Results show that BAdam achieves state-of-the-art performance for prior-based methods on challenging single-headed class-incremental experiments such as Split MNIST and Split FashionMNIST, and does so without relying on task labels or discrete task boundaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL