Regularizing Second-Order Influences for Continual Learning

要約

タイトル：Continual Learningのための2次影響の正則化

要約：

– Continual learningは、以前の知識を忘れることなく、非定常なデータストリームを学習することを目的とする。
– 従来のリプレイ法には、既に見たデータを保持する小さなバッファに繰り返し学習するものがあり、注意深いサンプル選択戦略が必要である。
– しかし、既存の選択手法は、通常、進行中の選択の効用を最大化するだけで、連続する選択ラウンドの干渉を無視している。
– この問題に着目して、影響関数に基づいて構築されたフレームワーク内で、連続した選択ステップの相互作用を分析することに成功した。
– 弊団体は、徐々にリプレイバッファ内の偶発的なバイアスを増幅し、選択プロセスを妨げる新しい2次影響のクラスを特定することができた。
– 2次効果を正則化するために、新しい選択目的が提案された。この新しい目的は、2つの広く採用されている基準とも明確に関連している。
– さらに、提案された基準を最適化するための効率的な実装を提示している。
– 複数のcontinual learningベンチマークでの実験により、提案手法が既存手法に比べ優れていることが示された。コードはhttps://github.com/feifeiobama/InfluenceCLで利用可能。

要約(オリジナル)

Continual learning aims to learn on non-stationary data streams without catastrophically forgetting previous knowledge. Prevalent replay-based methods address this challenge by rehearsing on a small buffer holding the seen data, for which a delicate sample selection strategy is required. However, existing selection schemes typically seek only to maximize the utility of the ongoing selection, overlooking the interference between successive rounds of selection. Motivated by this, we dissect the interaction of sequential selection steps within a framework built on influence functions. We manage to identify a new class of second-order influences that will gradually amplify incidental bias in the replay buffer and compromise the selection process. To regularize the second-order effects, a novel selection objective is proposed, which also has clear connections to two widely adopted criteria. Furthermore, we present an efficient implementation for optimizing the proposed criterion. Experiments on multiple continual learning benchmarks demonstrate the advantage of our approach over state-of-the-art methods. Code is available at https://github.com/feifeiobama/InfluenceCL.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI