Causes of Catastrophic Forgetting in Class-Incremental Semantic Segmentation

要約

セマンティック セグメンテーションのクラス増分学習 (CiSS) は現在、新しいセマンティック クラスを順次学習することによってセマンティック セグメンテーション モデルを更新することを目的とした高度に研究された分野です。
CiSS における主要な課題は、壊滅的な忘却の影響を克服することです。これは、モデルが新しいクラスのセットでトレーニングされた後、以前に学習したクラスの精度が突然低下することを表しています。
壊滅的な忘却を緩和する最新の進歩にもかかわらず、特に CiSS における忘却の根本的な原因はよくわかっていません。
したがって、一連の実験と表現分析では、バックグラウンド クラスのセマンティック シフトと新しいクラスへのバイアスが、CiSS における忘却の主な原因であることを示しています。
さらに、両方の原因がネットワークのより深い分類層で主に現れることを示しますが、モデルの初期層は影響を受けません。
最後に、知識の蒸留と偏りのないクロスエントロピー損失の助けを借りて、バックグラウンドに含まれる情報を利用して、両方の原因を効果的に軽減する方法を示します。

要約(オリジナル)

Class-incremental learning for semantic segmentation (CiSS) is presently a highly researched field which aims at updating a semantic segmentation model by sequentially learning new semantic classes. A major challenge in CiSS is overcoming the effects of catastrophic forgetting, which describes the sudden drop of accuracy on previously learned classes after the model is trained on a new set of classes. Despite latest advances in mitigating catastrophic forgetting, the underlying causes of forgetting specifically in CiSS are not well understood. Therefore, in a set of experiments and representational analyses, we demonstrate that the semantic shift of the background class and a bias towards new classes are the major causes of forgetting in CiSS. Furthermore, we show that both causes mostly manifest themselves in deeper classification layers of the network, while the early layers of the model are not affected. Finally, we demonstrate how both causes are effectively mitigated utilizing the information contained in the background, with the help of knowledge distillation and an unbiased cross-entropy loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google