An Analysis of Initial Training Strategies for Exemplar-Free Class-Incremental Learning

要約

クラス増分学習 (CIL) は、データ ストリームから分類モデルを構築することを目的としています。
CIL プロセスの各ステップで、新しいクラスをモデルに統合する必要があります。
CIL は壊滅的な忘却のため、過去のクラスの例を保存できない場合に特に困難を伴います。ここではこのケースに焦点を当てます。
現在まで、ほとんどのアプローチは CIL プロセスのターゲット データセットのみに基づいています。
ただし、最近では、大量のデータに対して自己教師ありの方法で事前トレーニングされたモデルの使用が勢いを増しています。
CIL プロセスの初期モデルは、ターゲット データセットの最初のバッチのみを使用することも、補助データセットで取得された事前トレーニングされた重みも使用することもできます。
これら 2 つの初期学習戦略のどちらを選択するかは、増分学習モデルのパフォーマンスに大きな影響を与える可能性がありますが、まだ詳しく研究されていません。
パフォーマンスは、CIL アルゴリズムの選択、ニューラル アーキテクチャ、ターゲット タスクの性質、ストリーム内のクラスの分布、学習に利用できるサンプルの数にも影響されます。
私たちはこれらの要因の役割を評価するために包括的な実験研究を実施します。
パフォーマンスの増分に対する各要素の相対的な寄与を定量化する統計分析フレームワークを紹介します。
私たちの主な発見は、最初のトレーニング戦略が平均増分精度に影響を与える主要な要因であるが、忘れを防ぐには CIL アルゴリズムの選択がより重要であるということです。
この分析に基づいて、特定の増分学習のユースケースに適切な初期トレーニング戦略を選択するための実践的な推奨事項を提案します。
これらの推奨事項は、増分学習の実際的な展開を促進することを目的としています。

要約(オリジナル)

Class-Incremental Learning (CIL) aims to build classification models from data streams. At each step of the CIL process, new classes must be integrated into the model. Due to catastrophic forgetting, CIL is particularly challenging when examples from past classes cannot be stored, the case on which we focus here. To date, most approaches are based exclusively on the target dataset of the CIL process. However, the use of models pre-trained in a self-supervised way on large amounts of data has recently gained momentum. The initial model of the CIL process may only use the first batch of the target dataset, or also use pre-trained weights obtained on an auxiliary dataset. The choice between these two initial learning strategies can significantly influence the performance of the incremental learning model, but has not yet been studied in depth. Performance is also influenced by the choice of the CIL algorithm, the neural architecture, the nature of the target task, the distribution of classes in the stream and the number of examples available for learning. We conduct a comprehensive experimental study to assess the roles of these factors. We present a statistical analysis framework that quantifies the relative contribution of each factor to incremental performance. Our main finding is that the initial training strategy is the dominant factor influencing the average incremental accuracy, but that the choice of CIL algorithm is more important in preventing forgetting. Based on this analysis, we propose practical recommendations for choosing the right initial training strategy for a given incremental learning use case. These recommendations are intended to facilitate the practical deployment of incremental learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google