SYNERgy between SYNaptic consolidation and Experience Replay for general continual learning

要約

脳における継続的な学習（CL）は、複雑なメカニズムによって促進されている。これには、補完的学習システム（CLS）理論によって仮定された、情報を定着させるための複数の記憶システムの相互作用と、獲得した知識を消去から保護するためのシナプス連結が含まれる。そこで、我々はシナプス連結と二重記憶経験再生（SYNERgy）の相乗効果を生み出す一般的なCL手法を提案する。本手法では、タスクをまたいで情報を蓄積・統合する意味記憶を保持し、エピソード記憶と相互作用して効果的なリプレイを実現する。さらに、シナプス連結を利用し、訓練軌跡中のパラメータの重要度を追跡し、意味記憶中の連結パラメータにアンカリングする。我々の知る限り、シナプス連結を併用した二重記憶再生は、ネットワークが学習や推論時にタスク境界やタスクラベルを利用しない一般的なCLに適しており、本研究が初めての試みである。様々な困難な学習シナリオでの評価と特性分析により、シナプス連結とCLS理論の両方を取り入れることで、DNNにおいて効果的な学習を可能にする有効性が実証された。

要約(オリジナル)

Continual learning (CL) in the brain is facilitated by a complex set of mechanisms. This includes the interplay of multiple memory systems for consolidating information as posited by the complementary learning systems (CLS) theory and synaptic consolidation for protecting the acquired knowledge from erasure. Thus, we propose a general CL method that creates a synergy between SYNaptic consolidation and dual memory Experience Replay (SYNERgy). Our method maintains a semantic memory that accumulates and consolidates information across the tasks and interacts with the episodic memory for effective replay. It further employs synaptic consolidation by tracking the importance of parameters during the training trajectory and anchoring them to the consolidated parameters in the semantic memory. To the best of our knowledge, our study is the first to employ dual memory experience replay in conjunction with synaptic consolidation that is suitable for general CL whereby the network does not utilize task boundaries or task labels during training or inference. Our evaluation on various challenging CL scenarios and characteristics analyses demonstrate the efficacy of incorporating both synaptic consolidation and CLS theory in enabling effective CL in DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL