Recall-Oriented Continual Learning with Generative Adversarial Meta-Model

要約

安定性と可塑性のジレンマは、新しいタスクを学習しながら以前のタスクのパフォーマンスを維持するという相反する目標のバランスを取る必要があるため、継続学習における大きな課題です。
この論文では、この課題に対処するために、想起指向の継続的学習フレームワークを提案します。
安定性と可塑性を担うメカニズムを分離する人間の脳の能力にヒントを得た私たちのフレームワークは、推論ネットワークが新しい知識を効果的に取得し、生成ネットワークが必要に応じて過去の知識を呼び出す 2 レベルのアーキテクチャで構成されています。
特に、過去の知識の安定性を最大化するために、さまざまな表現に依存する知識の複雑さを調査し、それによってタスクの入力データサンプルの代わりにタスク固有のパラメータを段階的に学習する敵対的生成メタモデル (GAMM) を導入します。
私たちの実験を通じて、私たちのフレームワークが中断することなく新しい知識を効果的に学習するだけでなく、タスク認識学習シナリオとタスク非依存学習シナリオの両方で以前の知識の高い安定性を達成することを示しました。
私たちのコードは https://github.com/bigdata-inha/recall-owned-cl-framework で入手できます。

要約(オリジナル)

The stability-plasticity dilemma is a major challenge in continual learning, as it involves balancing the conflicting objectives of maintaining performance on previous tasks while learning new tasks. In this paper, we propose the recall-oriented continual learning framework to address this challenge. Inspired by the human brain’s ability to separate the mechanisms responsible for stability and plasticity, our framework consists of a two-level architecture where an inference network effectively acquires new knowledge and a generative network recalls past knowledge when necessary. In particular, to maximize the stability of past knowledge, we investigate the complexity of knowledge depending on different representations, and thereby introducing generative adversarial meta-model (GAMM) that incrementally learns task-specific parameters instead of input data samples of the task. Through our experiments, we show that our framework not only effectively learns new knowledge without any disruption but also achieves high stability of previous knowledge in both task-aware and task-agnostic learning scenarios. Our code is available at: https://github.com/bigdata-inha/recall-oriented-cl-framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google