On the Stability-Plasticity Dilemma of Class-Incremental Learning

要約

タイトル：クラス増分学習における安定性と可塑性のジレンマについて

要約：

– クラス増分学習の主な目的は、以前に見たクラスから学んだ知識を保持するために十分安定していると同時に、新しいクラスから概念を学ぶために十分可塑性があるモデルを作成することである。
– 以前の研究では、クラス増分ベンチマークにおいて強力なパフォーマンスを示しているが、その成功は安定性、可塑性、またはその両方のモデルの性質に由来するかどうかは不明である。
– この論文の目的は、最近のクラス増分学習アルゴリズムが安定性と可塑性のトレードオフにどの程度対処しているかを明らかにすることである。
– 特徴表現の安定性と可塑性を測定する解析的ツールを確立し、大規模なクラス増分ベンチマークでさまざまなアルゴリズムでトレーニングされたモデルを調査するために使用することを目的とする。
– 驚くべきことに、クラス増分学習アルゴリズムの大多数は、安定性を可塑性よりも優先しており、初期のクラスセットでトレーニングされたモデルの特徴抽出器が最終的な増分モデルと同じくらい効果的であることを示した。
– この観察結果は、特徴表現解析の重要性を強調する2つのシンプルなアルゴリズムをインスパイアするだけでなく、一般的にクラス増分学習アプローチはより良い特徴表現学習を目指す必要があることを示唆している。

要約(オリジナル)

A primary goal of class-incremental learning is to strike a balance between stability and plasticity, where models should be both stable enough to retain knowledge learned from previously seen classes, and plastic enough to learn concepts from new classes. While previous works demonstrate strong performance on class-incremental benchmarks, it is not clear whether their success comes from the models being stable, plastic, or a mixture of both. This paper aims to shed light on how effectively recent class-incremental learning algorithms address the stability-plasticity trade-off. We establish analytical tools that measure the stability and plasticity of feature representations, and employ such tools to investigate models trained with various algorithms on large-scale class-incremental benchmarks. Surprisingly, we find that the majority of class-incremental learning algorithms heavily favor stability over plasticity, to the extent that the feature extractor of a model trained on the initial set of classes is no less effective than that of the final incremental model. Our observations not only inspire two simple algorithms that highlight the importance of feature representation analysis, but also suggest that class-incremental learning approaches, in general, should strive for better feature representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI