Tuned Compositional Feature Replays for Efficient Stream Learning

要約

私たちの脳は、世界の一時的な経験から永続的で一般化可能な知識を抽出します。
人工ニューラル ネットワークはこの能力には遠く及びません。
非反復ビデオ フレームを時間順にトレーニングしてオブジェクトを分類する学習 (オンライン ストリーム学習) を課せられた場合、シャッフルされたデータセットからうまく学習したモデルは、新しい刺激を学習すると古い知識を壊滅的に忘れてしまいます。
我々は、一般的な部分を組み合わせて再構築された特徴マップを再生することで忘れを軽減する、新しい継続学習アルゴリズム、Compositional Replay using Memory Blocks (CRUMB) を提案します。
CRUMB は、トレーニング可能で再利用可能な「メモリ ブロック」ベクトルを連結して、畳み込みニューラル ネットワーク内の特徴マップ テンソルを構成的に再構築します。
新しい刺激を再構築するために使用されるメモリ ブロックのインデックスを保存すると、後のタスク中に刺激の記憶を再生できるようになります。
また、この再構成メカニズムは、画像のテクスチャに関する情報よりもオブジェクトの形状に関する情報に注目するようバイアスすることで、壊滅的な忘却を最小限に抑えるようニューラル ネットワークを準備し、すべてのトレーニング サンプルに共通の特徴レベルの基盤を提供することで、ストリーム学習中のネットワークを安定させます。
これらの特性により、CRUMB は、生の画像を保存して再生する同じアルゴリズムよりも優れたパフォーマンスを実現しながら、メモリ占有量はわずか 3.6% に抑えられます。
私たちは、7 つの困難なデータセットに対して 13 の競合手法と並行して CRUMB をストレス テストしました。
既存のオンライン ストリーム学習データセットの数が限られていることに対処するために、既存のデータセットをストリーム学習に適応させて 2 つの新しいベンチマークを導入します。
CRUMB は、最先端のものよりもわずか 3.7 ～ 4.1% のメモリ量と 15 ～ 43% のランタイムで、壊滅的な物忘れを効果的に軽減します。
私たちのコードは https://github.com/MorganBDT/crumb.git で入手できます。

要約(オリジナル)

Our brains extract durable, generalizable knowledge from transient experiences of the world. Artificial neural networks come nowhere close to this ability. When tasked with learning to classify objects by training on non-repeating video frames in temporal order (online stream learning), models that learn well from shuffled datasets catastrophically forget old knowledge upon learning new stimuli. We propose a new continual learning algorithm, Compositional Replay Using Memory Blocks (CRUMB), which mitigates forgetting by replaying feature maps reconstructed by combining generic parts. CRUMB concatenates trainable and re-usable ‘memory block’ vectors to compositionally reconstruct feature map tensors in convolutional neural networks. Storing the indices of memory blocks used to reconstruct new stimuli enables memories of the stimuli to be replayed during later tasks. This reconstruction mechanism also primes the neural network to minimize catastrophic forgetting by biasing it towards attending to information about object shapes more than information about image textures, and stabilizes the network during stream learning by providing a shared feature-level basis for all training examples. These properties allow CRUMB to outperform an otherwise identical algorithm that stores and replays raw images, while occupying only 3.6% as much memory. We stress-tested CRUMB alongside 13 competing methods on 7 challenging datasets. To address the limited number of existing online stream learning datasets, we introduce 2 new benchmarks by adapting existing datasets for stream learning. With only 3.7-4.1% as much memory and 15-43% as much runtime, CRUMB mitigates catastrophic forgetting more effectively than the state-of-the-art. Our code is available at https://github.com/MorganBDT/crumb.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google