Data-Distill-Net: A Data Distillation Approach Tailored for Reply-based Continual Learning

要約

リプレイベースの継続学習（CL）メソッドは、小さなサブセットでトレーニングされたモデルが完全なデータセットの経験的リスクを効果的に最小限に抑えることができると想定しています。
これらの方法は、過去の知識を統合するために、以前のタスクからサンプルされたデータのサブセットを保存するメモリバッファーを維持します。
ただし、メモリバッファーの容量が限られているため、バッファーデータの選択に使用されるヒューリスティックな基準により、この仮定は実際には保証されていません。
この問題に対処するために、CLに合わせた新しいデータセット蒸留フレームワークを提案します。CLに合わせて、学習可能なメモリバッファーを維持し、現在のタスクデータからグローバルな情報を蒸留し、以前のメモリバッファに保存されている知識を蓄積します。
さらに、蒸留中のバッファー全体のパラメーター化に関連する計算オーバーヘッドと過剰適合リスクを回避するために、メモリバッファーデータの学習可能なソフトラベルを生成するだけでグローバルな情報蒸留を実現できる軽量蒸留モジュールを導入します。
広範な実験では、我々の方法が競争力のある結果を達成し、さまざまなデータセット全体で忘れることを効果的に軽減できることが示されています。
ソースコードは公開されます。

要約(オリジナル)

Replay-based continual learning (CL) methods assume that models trained on a small subset can also effectively minimize the empirical risk of the complete dataset. These methods maintain a memory buffer that stores a sampled subset of data from previous tasks to consolidate past knowledge. However, this assumption is not guaranteed in practice due to the limited capacity of the memory buffer and the heuristic criteria used for buffer data selection. To address this issue, we propose a new dataset distillation framework tailored for CL, which maintains a learnable memory buffer to distill the global information from the current task data and accumulated knowledge preserved in the previous memory buffer. Moreover, to avoid the computational overhead and overfitting risks associated with parameterizing the entire buffer during distillation, we introduce a lightweight distillation module that can achieve global information distillation solely by generating learnable soft labels for the memory buffer data. Extensive experiments show that, our method can achieve competitive results and effectively mitigates forgetting across various datasets. The source code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google