MGSER-SAM: Memory-Guided Soft Experience Replay with Sharpness-Aware Optimization for Enhanced Continual Learning

要約

ディープ ニューラル ネットワークは、継続学習 (CL) の分野における壊滅的な忘却の問題に悩まされています。
この課題に対処するために、CL モデルの一般化機能を強化するために特別に設計された、新しいメモリ再生ベースのアルゴリズムである MGSER-SAM を提案します。
まず、平坦性を最適化するために設計されたコンポーネントである SAM オプティマイザーを統合します。これは、ER や DER++ などのよく知られたエクスペリエンス リプレイ フレームワークにシームレスに適合します。
次に、MGSER-SAM は、SAM オプティマイザーでは十分に調査されていない、進行中のタスクと以前に保存されたメモリの間の重み摂動方向の矛盾を調整するという複雑な課題に明確に対処します。
これは、ソフト ロジットの戦略的統合と記憶勾配方向の調整によって効果的に達成されます。正則化項により、CL プロセスに不可欠なさまざまなトレーニング損失項の同時最小化が促進されます。
複数のベンチマークにわたって実施された厳密な実験分析を通じて、MGSER-SAM は 3 つの CL シナリオすべてで既存のベースラインを上回る一貫した能力を実証しました。
代表的なメモリ再生ベースのベースライン ER および DER++ と比較すると、MGSER-SAM はテスト精度をそれぞれ $24.4\%$ および $17.6\%$ 向上させるだけでなく、各ベンチマークで最低の忘却も達成します。

要約(オリジナル)

Deep neural networks suffer from the catastrophic forgetting problem in the field of continual learning (CL). To address this challenge, we propose MGSER-SAM, a novel memory replay-based algorithm specifically engineered to enhance the generalization capabilities of CL models. We first intergrate the SAM optimizer, a component designed for optimizing flatness, which seamlessly fits into well-known Experience Replay frameworks such as ER and DER++. Then, MGSER-SAM distinctively addresses the complex challenge of reconciling conflicts in weight perturbation directions between ongoing tasks and previously stored memories, which is underexplored in the SAM optimizer. This is effectively accomplished by the strategic integration of soft logits and the alignment of memory gradient directions, where the regularization terms facilitate the concurrent minimization of various training loss terms integral to the CL process. Through rigorous experimental analysis conducted across multiple benchmarks, MGSER-SAM has demonstrated a consistent ability to outperform existing baselines in all three CL scenarios. Comparing to the representative memory replay-based baselines ER and DER++, MGSER-SAM not only improves the testing accuracy by $24.4\%$ and $17.6\%$ respectively, but also achieves the lowest forgetting on each benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google