Revisiting Softmax Masking for Stability in Continual Learning

要約

継続学習では、多くの分類器がソフトマックス関数を使用して信頼度を学習します。
しかし、認識論的不確実性と呼ばれることが多い外れ値の信頼分布を正確に決定できないことが、多くの研究で指摘されています。
この固有の制限により、継続的な学習プロセスを通じて以前にトレーニングされた信頼分布の中で何を忘れて保持するかを選択するための正確な決定も抑制されます。
この問題に対処するために、マスキングソフトマックス関数の影響を再検討します。
この方法は単純で文献で広く普及していますが、安定性としても知られる、継続学習中の信頼度分布の保持に対するその意味は十分に研究されていません。
このペーパーでは、ソフトマックス マスキングの影響を再検討し、その信頼性維持効果を利用する方法論を紹介します。
メモリ再生の有無にかかわらず、クラスおよびタスクの増分学習ベンチマークにおいて、私たちのアプローチは、十分に大きな可塑性を維持しながら、安定性を大幅に向上させます。
最終的に、私たちの方法論は、特にメモリがゼロまたは少ない場合に、最先端の方法よりも全体的なパフォーマンスが優れていることがわかります。
これにより、非常に安定した再生ベースの継続学習のシンプルかつ効果的な基盤が築かれます。

要約(オリジナル)

In continual learning, many classifiers use softmax function to learn confidence. However, numerous studies have pointed out its inability to accurately determine confidence distributions for outliers, often referred to as epistemic uncertainty. This inherent limitation also curtails the accurate decisions for selecting what to forget and keep in previously trained confidence distributions over continual learning process. To address the issue, we revisit the effects of masking softmax function. While this method is both simple and prevalent in literature, its implication for retaining confidence distribution during continual learning, also known as stability, has been under-investigated. In this paper, we revisit the impact of softmax masking, and introduce a methodology to utilize its confidence preservation effects. In class- and task-incremental learning benchmarks with and without memory replay, our approach significantly increases stability while maintaining sufficiently large plasticity. In the end, our methodology shows better overall performance than state-of-the-art methods, particularly in the use with zero or small memory. This lays a simple and effective foundation of strongly stable replay-based continual learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google