The Importance of Robust Features in Mitigating Catastrophic Forgetting

要約

継続学習 (CL) は、壊滅的な忘却に対処するアプローチです。これは、新しいタスクやデータ配布についてトレーニングされたときに、ニューラル ネットワークによって以前に学習した知識を忘れることを指します。
敵対的ロバスト性は、特徴をロバストなタイプと非ロバストなタイプに分解し、ロバストな特徴でトレーニングされたモデルが敵対的ロバスト性を大幅に強化することを実証しました。
しかし、CL モデルのレンズからのロバストな特徴が CL における壊滅的な物忘れを軽減する効果についての研究は行われていません。
このペーパーでは、CL ロバスト データセットを紹介し、標準データセットと CL ロバスト データセットの両方で 4 つのベースライン モデルをトレーニングします。
私たちの結果は、CL ロバスト データセットでトレーニングされた CL モデルでは、標準データセットでトレーニングされた場合よりも、以前に学習したタスクの壊滅的な忘れが少ないことを示しています。
私たちの観察は、基礎となる CL モデルに提供される特徴の重要性を強調し、CL の堅牢な特徴が壊滅的な忘却を軽減できることを示しています。

要約(オリジナル)

Continual learning (CL) is an approach to address catastrophic forgetting, which refers to forgetting previously learned knowledge by neural networks when trained on new tasks or data distributions. The adversarial robustness has decomposed features into robust and non-robust types and demonstrated that models trained on robust features significantly enhance adversarial robustness. However, no study has been conducted on the efficacy of robust features from the lens of the CL model in mitigating catastrophic forgetting in CL. In this paper, we introduce the CL robust dataset and train four baseline models on both the standard and CL robust datasets. Our results demonstrate that the CL models trained on the CL robust dataset experienced less catastrophic forgetting of the previously learned tasks than when trained on the standard dataset. Our observations highlight the significance of the features provided to the underlying CL models, showing that CL robust features can alleviate catastrophic forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google