FALCON: Fairness Learning via Contrastive Attention Approach to Continual Semantic Scene Understanding

要約

セマンティックシーンセグメンテーションでの継続的な学習は、以前に学んだ知識を維持しながら、動的環境で新しい目に見えないクラスを継続的に学習することを目的としています。
以前の研究は、継続的な学習における壊滅的な忘却と背景のシフトの課題のモデリングに焦点を当てていました。
ただし、公平性は、主要クラスとマイナーなクラスの間でパフォーマンスが低い不当な予測を引き起こすもう1つの大きな課題であり、依然として適切に対処する必要があります。
さらに、以前の方法では未知のクラスを適切にモデル化していないため、未知のクラスの間で非差別的な特徴が生成されます。
この作品は、セマンティックシーンの理解における継続的な学習への対照的な注意アプローチを介して、新しい公平性学習を提示します。
特に、最初に壊滅的な忘却と公平性の問題に対処するために、新しい公平性コントラストクラスタリングの損失を導入します。
次に、バックグラウンドシフトの問題と未知のクラスを効果的にモデル化するための注意ベースの視覚文法アプローチを提案し、異なる不明なクラスのより良い特徴表現を生成します。
実験を通じて、提案されたアプローチは、さまざまな継続的な学習ベンチマーク、つまりADE20K、Cityscapes、およびPascal VOCで最先端の（SOTA）パフォーマンスを達成します。
継続的なセマンティックセグメンテーションモデルの公平性を促進します。

要約(オリジナル)

Continual Learning in semantic scene segmentation aims to continually learn new unseen classes in dynamic environments while maintaining previously learned knowledge. Prior studies focused on modeling the catastrophic forgetting and background shift challenges in continual learning. However, fairness, another major challenge that causes unfair predictions leading to low performance among major and minor classes, still needs to be well addressed. In addition, prior methods have yet to model the unknown classes well, thus resulting in producing non-discriminative features among unknown classes. This work presents a novel Fairness Learning via Contrastive Attention Approach to continual learning in semantic scene understanding. In particular, we first introduce a new Fairness Contrastive Clustering loss to address the problems of catastrophic forgetting and fairness. Then, we propose an attention-based visual grammar approach to effectively model the background shift problem and unknown classes, producing better feature representations for different unknown classes. Through our experiments, our proposed approach achieves State-of-the-Art (SoTA) performance on different continual learning benchmarks, i.e., ADE20K, Cityscapes, and Pascal VOC. It promotes the fairness of the continual semantic segmentation model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google