GPS: Distilling Compact Memories via Grid-based Patch Sampling for Efficient Online Class-Incremental Learning

要約

オンラインクラスインクリメンタル学習は、壊滅的な忘却を緩和しながら、過去のデータへのアクセスが制限されている新しいクラスに継続的に適応できるようにすることを目的としています。
リプレイベースの方法は、以前のサンプルの小さなメモリバッファーを維持し、競争力のあるパフォーマンスを達成することにより、これに対処します。
制約付きストレージの下で効果的なリプレイのために、最近のアプローチは蒸留データを活用して、メモリの情報性を高めます。
ただし、このようなアプローチには、バイレベルの最適化の使用により、多くの場合、大幅な計算オーバーヘッドが含まれます。
これらの制限に動機付けられて、訓練可能なモデルに頼らずに有益なメモリサンプルを蒸留するための軽量で効果的な戦略であるグリッドベースのパッチサンプリング（GPS）を導入します。
GPSは、元の画像からピクセルのサブセットをサンプリングすることにより、有益なサンプルを生成し、セマンティックコンテンツと構造情報の両方を保存するコンパクトな低解像度表現を生成します。
リプレイ中、これらの表現はトレーニングと評価をサポートするために再組み立てされています。
大規模なベンチマークでの実験は、GRSを既存のリプレイフレームワークにシームレスに統合できることを示しており、計算オーバーヘッドが制限されているメモリが制限された設定での平均終了精度を3％〜4％改善します。

要約(オリジナル)

Online class-incremental learning aims to enable models to continuously adapt to new classes with limited access to past data, while mitigating catastrophic forgetting. Replay-based methods address this by maintaining a small memory buffer of previous samples, achieving competitive performance. For effective replay under constrained storage, recent approaches leverage distilled data to enhance the informativeness of memory. However, such approaches often involve significant computational overhead due to the use of bi-level optimization. Motivated by these limitations, we introduce Grid-based Patch Sampling (GPS), a lightweight and effective strategy for distilling informative memory samples without relying on a trainable model. GPS generates informative samples by sampling a subset of pixels from the original image, yielding compact low-resolution representations that preserve both semantic content and structural information. During replay, these representations are reassembled to support training and evaluation. Experiments on extensive benchmarks demonstrate that GRS can be seamlessly integrated into existing replay frameworks, leading to 3%-4% improvements in average end accuracy under memory-constrained settings, with limited computational overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google