Multiband VAE: Latent Space Alignment for Knowledge Consolidation in Continual Learning

要約

変分オートエンコーダーの潜在空間の再調整を通じて、教師なし生成的継続学習のための新しい方法を提案します。
深い生成モデルは、他の神経構造と同じように壊滅的な忘却に苦しんでいます。
最近の生成的継続学習作業はこの問題に取り組み、以前の知識を忘れることなく新しいデータから学習しようとします。
ただし、これらの方法は通常、例がデータの後続部分間でほとんど類似性を共有しない人工的なシナリオに焦点を当てています。これは、継続学習の実際のアプリケーションでは現実的ではない仮定です。
この作業では、この制限を特定し、生成的継続学習の目標を知識蓄積タスクとして想定します。
例がソースタスクとは独立してエンコードされる追加の潜在空間でバンドと呼ばれる新しいデータの潜在表現を継続的に整列させることによって、それを解決します。
さらに、このプロセスを簡素化する過去のデータの忘却を制御する方法を紹介します。
標準の継続学習ベンチマークに加えて、新しい挑戦的な知識統合シナリオを提案し、提案されたアプローチがすべての実験と追加の実際の評価で最先端を最大2倍上回ることを示します。
私たちの知る限り、マルチバンドVAEは、生成的継続学習における前方および後方の知識伝達を示す最初の方法です。

要約(オリジナル)

We propose a new method for unsupervised generative continual learning through realignment of Variational Autoencoder’s latent space. Deep generative models suffer from catastrophic forgetting in the same way as other neural structures. Recent generative continual learning works approach this problem and try to learn from new data without forgetting previous knowledge. However, those methods usually focus on artificial scenarios where examples share almost no similarity between subsequent portions of data – an assumption not realistic in the real-life applications of continual learning. In this work, we identify this limitation and posit the goal of generative continual learning as a knowledge accumulation task. We solve it by continuously aligning latent representations of new data that we call bands in additional latent space where examples are encoded independently of their source task. In addition, we introduce a method for controlled forgetting of past data that simplifies this process. On top of the standard continual learning benchmarks, we propose a novel challenging knowledge consolidation scenario and show that the proposed approach outperforms state-of-the-art by up to twofold across all experiments and the additional real-life evaluation. To our knowledge, Multiband VAE is the first method to show forward and backward knowledge transfer in generative continual learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google