Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization

要約

長期的な自律性を追求するには、ロボットエージェントが変化する環境に継続的に適応し、新しいタスクを解決する方法を学習する必要があります。
継続的な学習は、新しいタスクを解決するための学習により、モデルが以前に学習した情報を忘れてしまう、壊滅的な忘却の課題を克服しようとします。
事前ベースの継続学習方法は、スペース効率が高く、通常、タスクの数が増えても計算の複雑さが増加しないため、ロボット アプリケーションにとって魅力的です。
これらの望ましい特性にもかかわらず、従来ベースのアプローチは通常、重要なベンチマークで失敗し、その結果、メモリベースの対応物と比較して潜在的なアプリケーションが制限されます。
パラメータの増加をより適切に制限し、壊滅的な忘却を低減する新しい事前ベースの手法であるベイジアン適応モーメント正則化 (BAdam) を紹介します。
私たちの手法は、軽量でタスクラベルがないこと、迅速に収束すること、安全な現実世界への展開に重要な校正された不確実性を提供することなど、ロボットアプリケーションにとって望ましい特性を幅広く備えています。
結果は、BAdam が、Split MNIST や Split FashionMNIST などの困難な単一ヘッドのクラス増分実験において、従来ベースの手法で最先端のパフォーマンスを達成し、タスク ラベルや離散タスク境界に依存することなくそれを実現していることを示しています。

要約(オリジナル)

The pursuit of long-term autonomy mandates that robotic agents must continuously adapt to their changing environments and learn to solve new tasks. Continual learning seeks to overcome the challenge of catastrophic forgetting, where learning to solve new tasks causes a model to forget previously learnt information. Prior-based continual learning methods are appealing for robotic applications as they are space efficient and typically do not increase in computational complexity as the number of tasks grows. Despite these desirable properties, prior-based approaches typically fail on important benchmarks and consequently are limited in their potential applications compared to their memory-based counterparts. We introduce Bayesian adaptive moment regularization (BAdam), a novel prior-based method that better constrains parameter growth, leading to lower catastrophic forgetting. Our method boasts a range of desirable properties for robotic applications such as being lightweight and task label-free, converging quickly, and offering calibrated uncertainty that is important for safe real-world deployment. Results show that BAdam achieves state-of-the-art performance for prior-based methods on challenging single-headed class-incremental experiments such as Split MNIST and Split FashionMNIST, and does so without relying on task labels or discrete task boundaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google