FALCON: Fairness Learning via Contrastive Attention Approach to Continual Semantic Scene Understanding in Open World

要約

セマンティック シーン セグメンテーションにおける継続学習は、以前に学習した知識を維持しながら、動的な環境で新しい目に見えないクラスを継続的に学習することを目的としています。
これまでの研究は、継続的な学習における壊滅的な忘却と背景の変化の課題をモデル化することに焦点を当てていました。
ただし、公平性は、不公平な予測を引き起こし、メジャー クラスとマイナー クラス間のパフォーマンスの低下につながるもう 1 つの大きな課題であり、依然として十分に対処する必要があります。
さらに、従来の方法ではまだ未知のクラスを適切にモデル化できていないため、未知のクラス間で非識別的な特徴が生成されてしまいます。
この論文では、意味論的シーンの理解における継続的な学習に対する、対照的注意アプローチによる新しい公平性学習を紹介します。
特に、壊滅的な忘却と公平性の問題に対処するために、最初に新しい公平性対照クラスタリング損失を導入します。
次に、バックグラウンド シフト問題と未知のクラスを効果的にモデル化し、さまざまな未知のクラスに対してより適切な特徴表現を生成する、注意ベースの視覚文法アプローチを提案します。
私たちの実験を通じて、私たちが提案したアプローチは、ADE20K、Cityscapes、Pascal VOC という 3 つの標準ベンチマークのさまざまな継続学習設定で最先端 (SOTA) パフォーマンスを達成しました。
これは、継続的セマンティック セグメンテーション モデルの公平性を促進します。

要約(オリジナル)

Continual Learning in semantic scene segmentation aims to continually learn new unseen classes in dynamic environments while maintaining previously learned knowledge. Prior studies focused on modeling the catastrophic forgetting and background shift challenges in continual learning. However, fairness, another major challenge that causes unfair predictions leading to low performance among major and minor classes, still needs to be well addressed. In addition, prior methods have yet to model the unknown classes well, thus resulting in producing non-discriminative features among unknown classes. This paper presents a novel Fairness Learning via Contrastive Attention Approach to continual learning in semantic scene understanding. In particular, we first introduce a new Fairness Contrastive Clustering loss to address the problems of catastrophic forgetting and fairness. Then, we propose an attention-based visual grammar approach to effectively model the background shift problem and unknown classes, producing better feature representations for different unknown classes. Through our experiments, our proposed approach achieves State-of-the-Art (SOTA) performance on different continual learning settings of three standard benchmarks, i.e., ADE20K, Cityscapes, and Pascal VOC. It promotes the fairness of the continual semantic segmentation model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google