Continual Learning by Modeling Intra-Class Variation

要約

データまたはタスクが連続して提示されると、ニューラル ネットワークのパフォーマンスが低下することが観察されています。
人間とは異なり、ニューラル ネットワークは壊滅的な忘却の影響を大きく受けており、生涯にわたる学習を行うことは不可能です。
この問題に対処するために、記憶に基づく継続的な学習が積極的に研究されており、最も効果的な方法の 1 つとして際立っています。
記憶に基づく継続的学習を調査し、壊滅的な忘却を回避するために表現空間の大きな変動が重要であることを特定します。
これに動機付けられて、2 種類の摂動を使用して表現を多様化することを提案します。モデルに依存しない変動 (つまり、学習したニューラル ネットワークの知識なしで変動が生成される) とモデルベースの変動 (つまり、変動は、
ニューラルネットワークを学習しました）。
表現のバリエーションを拡大することは、継続的な学習を改善するための一般的な原則として役立つことを示しています。
最後に、単純なプラグアンドプレイコンポーネントとしての方法が、多くの記憶ベースの継続的学習方法を大幅に改善できることを実証する実証研究を行います。

要約(オリジナル)

It has been observed that neural networks perform poorly when the data or tasks are presented sequentially. Unlike humans, neural networks suffer greatly from catastrophic forgetting, making it impossible to perform life-long learning. To address this issue, memory-based continual learning has been actively studied and stands out as one of the best-performing methods. We examine memory-based continual learning and identify that large variation in the representation space is crucial for avoiding catastrophic forgetting. Motivated by this, we propose to diversify representations by using two types of perturbations: model-agnostic variation (i.e., the variation is generated without the knowledge of the learned neural network) and model-based variation (i.e., the variation is conditioned on the learned neural network). We demonstrate that enlarging representational variation serves as a general principle to improve continual learning. Finally, we perform empirical studies which demonstrate that our method, as a simple plug-and-play component, can consistently improve a number of memory-based continual learning methods by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google