Doubly Perturbed Task-Free Continual Learning

要約

タスクフリーのオンライン継続学習 (TF-CL) は、明示的なタスク情報なしでモデルがタスクを段階的に学習する難しい問題です。
過去、現在、未来の全データを使用したトレーニングがゴールド スタンダードと考えられていますが、現在のサンプルを使用した TF-CL の単純なアプローチは、将来のサンプルを使用した学習と矛盾し、壊滅的な忘却と可塑性の低下につながる可能性があります。
したがって、TF-CL におけるまだ見ぬ将来のサンプルを積極的に検討することが不可欠になります。
この直感に動機づけられて、将来のサンプルを考慮した新しい TF-CL フレームワークを提案し、入力データと意思決定の両方に敵対的摂動を注入することが効果的であることを示します。
次に、これらの入力および意思決定の摂動を効率的に実装するために、二重摂動継続学習 (DPCL) と呼ばれる新しい方法を提案します。
具体的には、入力摂動については、入力データと特徴ベクトルにノイズを注入し、摂動された 2 つのサンプルを内挿する近似摂動法を提案します。
意思決定プロセスの摂動については、複数の確率的分類子を考案します。
また、提案した二重摂動を反映したメモリ管理スキームと学習率スケジューリングも調査します。
私たちの提案した手法が、さまざまな TF-CL ベンチマークで最先端のベースライン手法を大幅に上回るパフォーマンスを示すことを示します。

要約(オリジナル)

Task-free online continual learning (TF-CL) is a challenging problem where the model incrementally learns tasks without explicit task information. Although training with entire data from the past, present as well as future is considered as the gold standard, naive approaches in TF-CL with the current samples may be conflicted with learning with samples in the future, leading to catastrophic forgetting and poor plasticity. Thus, a proactive consideration of an unseen future sample in TF-CL becomes imperative. Motivated by this intuition, we propose a novel TF-CL framework considering future samples and show that injecting adversarial perturbations on both input data and decision-making is effective. Then, we propose a novel method named Doubly Perturbed Continual Learning (DPCL) to efficiently implement these input and decision-making perturbations. Specifically, for input perturbation, we propose an approximate perturbation method that injects noise into the input data as well as the feature vector and then interpolates the two perturbed samples. For decision-making process perturbation, we devise multiple stochastic classifiers. We also investigate a memory management scheme and learning rate scheduling reflecting our proposed double perturbations. We demonstrate that our proposed method outperforms the state-of-the-art baseline methods by large margins on various TF-CL benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google