Continual Prune-and-Select: Class-incremental learning with specialized subnetworks

要約

人間の脳は、タスクをほとんど忘れずに順番に学習することができます。
ただし、ディープ ニューラル ネットワーク (DNN) は、タスクを次々と学習するときに破滅的な忘却に悩まされます。
この課題に対処するには、DNN がこのデータの元のタスクを知らずにテスト データを参照するクラス単位の増分学習シナリオを考慮します。
トレーニング中、Continual-Prune-and-Select (CP&S) は、特定のタスクの解決を担当する DNN 内のサブネットワークを見つけます。
次に、推論中に、CP&S は正しいサブネットワークを選択して、そのタスクの予測を行います。
新しいタスクは、DNN の使用可能なニューロン接続 (以前はトレーニングされていません) をトレーニングして、プルーニングによって新しいサブネットワークを作成することによって学習されます。これには、共有接続が更新されないため、他のサブネットワークに属する以前にトレーニングされた接続を含めることができます。
これにより、DNN 内に互いに競合しない特殊な領域を作成することで壊滅的な忘却を排除できますが、それらの間で知識を伝達することができます。
CP&S 戦略は、さまざまなサブネットワーク選択戦略で実装され、さまざまなデータセット (CIFAR-100、CUB-200-2011、ImageNet-100、および ImageNet-1000) でテストされた最先端の継続的学習方法よりも優れたパフォーマンスを示しています。
特に、CP&S は ImageNet-1000 から 10 個のタスクを連続して学習することができ、94% 前後の精度を維持し、無視できるほどの忘却であり、クラス単位の増分学習で初めての結果です。
著者の知る限り、これは最良の代替方法と比較して 10% を超える精度の向上を表しています。

要約(オリジナル)

The human brain is capable of learning tasks sequentially mostly without forgetting. However, deep neural networks (DNNs) suffer from catastrophic forgetting when learning one task after another. We address this challenge considering a class-incremental learning scenario where the DNN sees test data without knowing the task from which this data originates. During training, Continual-Prune-and-Select (CP&S) finds a subnetwork within the DNN that is responsible for solving a given task. Then, during inference, CP&S selects the correct subnetwork to make predictions for that task. A new task is learned by training available neuronal connections of the DNN (previously untrained) to create a new subnetwork by pruning, which can include previously trained connections belonging to other subnetwork(s) because it does not update shared connections. This enables to eliminate catastrophic forgetting by creating specialized regions in the DNN that do not conflict with each other while still allowing knowledge transfer across them. The CP&S strategy is implemented with different subnetwork selection strategies, revealing superior performance to state-of-the-art continual learning methods tested on various datasets (CIFAR-100, CUB-200-2011, ImageNet-100 and ImageNet-1000). In particular, CP&S is capable of sequentially learning 10 tasks from ImageNet-1000 keeping an accuracy around 94% with negligible forgetting, a first-of-its-kind result in class-incremental learning. To the best of the authors’ knowledge, this represents an improvement in accuracy above 10% when compared to the best alternative method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google