Mitigating Background Shift in Class-Incremental Semantic Segmentation

要約

クラス増分セマンティック セグメンテーション (CISS) は、新しいクラスのラベルのみを使用して、古いクラスを忘れることなく新しいクラスを学習することを目的としています。
これを達成するために、2 つの一般的な戦略が採用されています。1) 事前の知識を保存するための疑似ラベル付けと知識の蒸留。
2) バックグラウンド重みの転送。バックグラウンドの重みを新しいクラス分類子に転送することで、新しいクラスの学習においてバックグラウンドの広範な範囲を活用します。
ただし、最初の戦略は古いクラスの検出において古いモデルに大きく依存しており、検出されないピクセルは背景とみなされ、それによって背景が古いクラスにシフトします (つまり、古いクラスが背景として誤って分類される)。
さらに、2 番目のアプローチの場合、背景知識を使用して新しいクラス分類子を初期化すると、同様のバックグラウンド シフトの問題がトリガーされますが、新しいクラスに向けて発生します。
これらの問題に対処するために、CISS 用のバックグラウンド クラス分離フレームワークを提案します。
まず、選択的擬似ラベリングと適応的特徴抽出は、信頼できる過去の知識のみを抽出することです。
一方で、ラベルに基づく出力蒸留とともに、新しい直交目標を使用して、バックグラウンド クラスと新しいクラスを分離することを奨励します。
私たちの最先端の結果は、これらの提案された方法の有効性を検証します。

要約(オリジナル)

Class-Incremental Semantic Segmentation(CISS) aims to learn new classes without forgetting the old ones, using only the labels of the new classes. To achieve this, two popular strategies are employed: 1) pseudo-labeling and knowledge distillation to preserve prior knowledge; and 2) background weight transfer, which leverages the broad coverage of background in learning new classes by transferring background weight to the new class classifier. However, the first strategy heavily relies on the old model in detecting old classes while undetected pixels are regarded as the background, thereby leading to the background shift towards the old classes(i.e., misclassification of old class as background). Additionally, in the case of the second approach, initializing the new class classifier with background knowledge triggers a similar background shift issue, but towards the new classes. To address these issues, we propose a background-class separation framework for CISS. To begin with, selective pseudo-labeling and adaptive feature distillation are to distill only trustworthy past knowledge. On the other hand, we encourage the separation between the background and new classes with a novel orthogonal objective along with label-guided output distillation. Our state-of-the-art results validate the effectiveness of these proposed methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google