Gradient-Semantic Compensation for Incremental Semantic Segmentation

要約

インクリメンタル セマンティック セグメンテーションは、以前に学習したクラスのトレーニング データにアクセスせずに、新たに登場するクラスのセグメンテーションを継続的に学習することを目的としています。
しかし、現在のほとんどの方法は、1) 不均衡な勾配バックプロパゲーションによって引き起こされる異なる忘却ペースを考慮せずに、以前のすべてのクラスを同等に扱うため、壊滅的な忘却とバックグラウンドシフトに対処できません。
2) クラス間に強力な意味上のガイダンスが欠けています。
上記の課題に取り組むために、この論文では、勾配とセマンティックの両方の観点から増分セマンティック セグメンテーションを克服する勾配セマンティック補償 (GSC) モデルを提案します。
具体的には、勾配の側面から壊滅的な忘却に対処するために、再重み付け勾配バックプロパゲーションを通じて以前に確認されたクラスの忘却ペースのバランスをとれるステップ認識勾配補償を開発します。
一方、意味論的な側面から壊滅的な忘却を軽減するために、ソフトラベルを介して一貫したクラス間の意味論的関係を抽出するソフトシャープ意味論的関係抽出を提案します。
さらに、バックグラウンドシフトを軽減するための強力なセマンティックガイダンスを提供するプロトタイプの疑似再ラベリングを開発します。
ピクセルとクラスごとのプロトタイプ間の距離を測定することにより、バックグラウンドで古いクラスの高品質な疑似ラベルを生成します。
3 つの公開データセット、つまり Pascal VOC 2012、ADE20K、Cityscapes での広範な実験により、私たちが提案した GSC モデルの有効性が実証されました。

要約(オリジナル)

Incremental semantic segmentation aims to continually learn the segmentation of new coming classes without accessing the training data of previously learned classes. However, most current methods fail to address catastrophic forgetting and background shift since they 1) treat all previous classes equally without considering different forgetting paces caused by imbalanced gradient back-propagation; 2) lack strong semantic guidance between classes. To tackle the above challenges, in this paper, we propose a Gradient-Semantic Compensation (GSC) model, which surmounts incremental semantic segmentation from both gradient and semantic perspectives. Specifically, to address catastrophic forgetting from the gradient aspect, we develop a step-aware gradient compensation that can balance forgetting paces of previously seen classes via re-weighting gradient backpropagation. Meanwhile, we propose a soft-sharp semantic relation distillation to distill consistent inter-class semantic relations via soft labels for alleviating catastrophic forgetting from the semantic aspect. In addition, we develop a prototypical pseudo re-labeling that provides strong semantic guidance to mitigate background shift. It produces high-quality pseudo labels for old classes in the background by measuring distances between pixels and class-wise prototypes. Extensive experiments on three public datasets, i.e., Pascal VOC 2012, ADE20K, and Cityscapes, demonstrate the effectiveness of our proposed GSC model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google