Class-Incremental Exemplar Compression for Class-Incremental Learning

要約

イグザンプラ ベースのクラス増分学習 (CIL) は、新しいクラスのすべてのサンプルを使用してモデルを微調整しますが、各増分フェーズでは古いクラスの少数ショットのイグザンプラを使用します。「少数ショット」は限られたメモリ バジェットに従います。
この論文では、単純だが驚くほど効果的なアイデアに基づいて、この「少数ショット」の制限を破ります。つまり、非識別ピクセルをダウンサンプリングし、「多数ショット」圧縮された標本をメモリに保存することによって標本を圧縮します。
手動の注釈を必要とせずに、クラス アクティベーション マップ (CAM) から識別可能なピクセルに 0 ～ 1 のマスクを生成することで、この圧縮を実現します。
クラスインクリメンタルマスキング (CIM) と呼ばれる適応マスク生成モデルを提案して、CAM を使用する際の 2 つの問題を明示的に解決します。1) CAM のヒートマップを任意のしきい値で 0-1 マスクに変換すると、
合計メモリが固定されているため、識別可能なピクセルと手本の数。
2) 最適なしきい値は、オブジェクト クラスによって異なります。これは、CIL の動的な環境では特に顕著です。
2 値最適化問題により、従来の CIL モデルを使用して CIM モデルを最適化します。
Food-101、ImageNet-100、ImageNet-1000 などの高解像度 CIL ベンチマークで広範な実験を行い、CIM による圧縮された見本を使用すると、新しい最先端の CIL 精度、たとえば 4.8 を達成できることを示します。
10 フェーズ ImageNet-1000 で FOSTER よりもパーセンテージ ポイント高くなります。
コードは https://github.com/xfflzl/CIM-CIL で入手できます。

要約(オリジナル)

Exemplar-based class-incremental learning (CIL) finetunes the model with all samples of new classes but few-shot exemplars of old classes in each incremental phase, where the ‘few-shot’ abides by the limited memory budget. In this paper, we break this ‘few-shot’ limit based on a simple yet surprisingly effective idea: compressing exemplars by downsampling non-discriminative pixels and saving ‘many-shot’ compressed exemplars in the memory. Without needing any manual annotation, we achieve this compression by generating 0-1 masks on discriminative pixels from class activation maps (CAM). We propose an adaptive mask generation model called class-incremental masking (CIM) to explicitly resolve two difficulties of using CAM: 1) transforming the heatmaps of CAM to 0-1 masks with an arbitrary threshold leads to a trade-off between the coverage on discriminative pixels and the quantity of exemplars, as the total memory is fixed; and 2) optimal thresholds vary for different object classes, which is particularly obvious in the dynamic environment of CIL. We optimize the CIM model alternatively with the conventional CIL model through a bilevel optimization problem. We conduct extensive experiments on high-resolution CIL benchmarks including Food-101, ImageNet-100, and ImageNet-1000, and show that using the compressed exemplars by CIM can achieve a new state-of-the-art CIL accuracy, e.g., 4.8 percentage points higher than FOSTER on 10-Phase ImageNet-1000. Our code is available at https://github.com/xfflzl/CIM-CIL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google