Continual evaluation for lifelong learning: Identifying the stability gap

要約

タイトル：ライフロングラーニングのための継続的評価：安定性ギャップの特定

要約：

– 時間依存のデータ生成分布は、ニューラルネットワークの勾配ベースのトレーニングに対して問題があるため、以前に学習した知識の惨憺たる忘却を引き起こす。
– 連続学習の分野での進歩にもかかわらず、一連の最新の方法は、新しいタスクを学習し始めると、以前に学習したことをかなり忘れることを示す。ただし、この忘却は一時的で、その後、性能が回復する段階が続く。
– 我々はこの興味深いかつ潜在的に問題のある現象を安定性ギャップと呼びます。
– 安定性ギャップは、従来の連続学習モデルの評価方法が、各タスクの後にのみ評価を行うという標準的なプラクティスによって、依然として注目されていなかった可能性がある。
– 一方、我々は継続的評価のためのフレームワークを確立し、反復評価による新しい一連のメトリックを定義することで、常に評価を行うことができ、最悪のケースのパフォーマンスを量化できる手法を提案する。
– 実験的には、経験のリプレイ、制約されたリプレイ、知識蒸留、およびパラメータ正則化方法はすべて、安定性ギャップに陥りやすいことを示し、安定性ギャップは、クラス増分学習、タスク増分学習、そしてドメイン増分学習のベンチマークでも観察されることを示す。
– また、制御実験では、タスクがより異質である場合に、安定性ギャップが増大することが示された。
– 最後に、グラデーションをプラスチシティと安定性のコンポーネントに分解することによって、我々は安定性ギャップの概念的な説明を提案する。

要約(オリジナル)

Time-dependent data-generating distributions have proven to be difficult for gradient-based training of neural networks, as the greedy updates result in catastrophic forgetting of previously learned knowledge. Despite the progress in the field of continual learning to overcome this forgetting, we show that a set of common state-of-the-art methods still suffers from substantial forgetting upon starting to learn new tasks, except that this forgetting is temporary and followed by a phase of performance recovery. We refer to this intriguing but potentially problematic phenomenon as the stability gap. The stability gap had likely remained under the radar due to standard practice in the field of evaluating continual learning models only after each task. Instead, we establish a framework for continual evaluation that uses per-iteration evaluation and we define a new set of metrics to quantify worst-case performance. Empirically we show that experience replay, constraint-based replay, knowledge-distillation, and parameter regularization methods are all prone to the stability gap; and that the stability gap can be observed in class-, task-, and domain-incremental learning benchmarks. Additionally, a controlled experiment shows that the stability gap increases when tasks are more dissimilar. Finally, by disentangling gradients into plasticity and stability components, we propose a conceptual explanation for the stability gap.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI