AdaCL:Adaptive Continual Learning

要約

クラス増分学習は、以前に観察されたクラスの精度を維持または向上させながら、新しいカテゴリを学習するために深層分類器を更新することを目的としています。
以前に学習したクラスを忘れることを防ぐ一般的な方法には、ニューラル ネットワークの更新を正規化し、学習率、正則化の強度、またはエグザンプラの数などのハイパーパラメータを伴うイグザンプラをメモリに保存することが含まれます。
ただし、これらのハイパーパラメータは通常、開始時にのみ調整され、学習セッション中は固定されたままになり、新しく遭遇したタスクの新規性や難易度がさまざまなレベルになる可能性があるという事実は無視されます。
この研究では、クラス増分学習におけるハイパーパラメータの「適応性」の必要性、つまり、当面の新しいタスクの特性に応じて、学習率、正則化強度、メモリ サイズなどのハイパーパラメータを動的に調整する機能について調査します。
私たちは、各学習タスクでこれらのパラメーターの最適値を自動的かつ効率的に決定するベイジアン最適化ベースのアプローチである AdaCL を提案します。
新しいタスクごとにハイパーパラメーターを適応させると、精度、忘却、記憶力の向上につながることを示します。
コードは https://github.com/ElifCerenGokYildirim/AdaCL で入手できます。

要約(オリジナル)

Class-Incremental Learning aims to update a deep classifier to learn new categories while maintaining or improving its accuracy on previously observed classes. Common methods to prevent forgetting previously learned classes include regularizing the neural network updates and storing exemplars in memory, which come with hyperparameters such as the learning rate, regularization strength, or the number of exemplars. However, these hyperparameters are usually only tuned at the start and then kept fixed throughout the learning sessions, ignoring the fact that newly encountered tasks may have varying levels of novelty or difficulty. This study investigates the necessity of hyperparameter `adaptivity’ in Class-Incremental Learning: the ability to dynamically adjust hyperparameters such as the learning rate, regularization strength, and memory size according to the properties of the new task at hand. We propose AdaCL, a Bayesian Optimization-based approach to automatically and efficiently determine the optimal values for those parameters with each learning task. We show that adapting hyperpararmeters on each new task leads to improvement in accuracy, forgetting and memory. Code is available at https://github.com/ElifCerenGokYildirim/AdaCL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google