Joint Input and Output Coordination for Class-Incremental Learning

要約

深刻な壊滅的な忘却のため、漸進学習は自明ではありません。
増分学習中に古いタスクに少量のデータを保存することは実現可能な解決策ですが、現在の戦略では、1) クラスのバイアス問題に適切に対処できず、2) 新しいタスクと古いタスク間の相互干渉を緩和し、3) 問題を考慮することができません。
タスク内のクラスバイアスの問題。
これが、私たちがこれらの問題に対処するための共同入出力調整 (JIOC) メカニズムを提案する動機となっています。
このメカニズムは、出力スコアの勾配に従ってデータの異なるカテゴリに異なる重みを割り当て、知識蒸留 (KD) を使用して古いタスクと新しいタスクの出力間の相互干渉を軽減します。
提案されたメカニズムは汎用的かつ柔軟であり、メモリストレージを使用するさまざまな増分学習アプローチに組み込むことができます。
広範な実験により、私たちのメカニズムがパフォーマンスを大幅に向上できることが示されました。

要約(オリジナル)

Incremental learning is nontrivial due to severe catastrophic forgetting. Although storing a small amount of data on old tasks during incremental learning is a feasible solution, current strategies still do not 1) adequately address the class bias problem, and 2) alleviate the mutual interference between new and old tasks, and 3) consider the problem of class bias within tasks. This motivates us to propose a joint input and output coordination (JIOC) mechanism to address these issues. This mechanism assigns different weights to different categories of data according to the gradient of the output score, and uses knowledge distillation (KD) to reduce the mutual interference between the outputs of old and new tasks. The proposed mechanism is general and flexible, and can be incorporated into different incremental learning approaches that use memory storage. Extensive experiments show that our mechanism can significantly improve their performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google