Fairness Continual Learning Approach to Semantic Scene Understanding in Open-World Environments

要約

継続的なセマンティック セグメンテーションは、以前のクラスの情報を維持しながら新しいクラスを学習することを目的としています。
近年、先行研究で目覚ましい進歩が示されていますが、継続的なセマンティック セグメンテーションにおける公平性の問題には、より適切に対処する必要があります。
一方、公平性は、特に人間関係や安全性のアプリケーションにおいて、深層学習モデルを導入する際に最も重要な要素の 1 つです。
この論文では、セマンティック セグメンテーション問題に対する新しい公平性継続学習アプローチを紹介します。
特に、公平性の目標の下では、クラス分布に基づいた新しい公平性継続学習フレームワークが提案されています。
次に、継続的な学習における重大な課題、つまり壊滅的な忘却と背景のシフトに対処するために、新しいプロトタイプの対照的クラスタリング損失が提案されます。
私たちが提案した損失は、継続学習で一般的に使用される知識蒸留の新規で一般化された学習パラダイムとしても証明されています。
さらに、提案された条件付き構造一貫性損失により、予測されたセグメンテーションの構造的制約がさらに規則化されました。
私たちが提案したアプローチは、ADE20K、Cityscapes、Pascal VOC という 3 つの標準的なシーン理解ベンチマークで最先端のパフォーマンスを達成し、セグメンテーション モデルの公平性を促進しました。

要約(オリジナル)

Continual semantic segmentation aims to learn new classes while maintaining the information from the previous classes. Although prior studies have shown impressive progress in recent years, the fairness concern in the continual semantic segmentation needs to be better addressed. Meanwhile, fairness is one of the most vital factors in deploying the deep learning model, especially in human-related or safety applications. In this paper, we present a novel Fairness Continual Learning approach to the semantic segmentation problem. In particular, under the fairness objective, a new fairness continual learning framework is proposed based on class distributions. Then, a novel Prototypical Contrastive Clustering loss is proposed to address the significant challenges in continual learning, i.e., catastrophic forgetting and background shift. Our proposed loss has also been proven as a novel, generalized learning paradigm of knowledge distillation commonly used in continual learning. Moreover, the proposed Conditional Structural Consistency loss further regularized the structural constraint of the predicted segmentation. Our proposed approach has achieved State-of-the-Art performance on three standard scene understanding benchmarks, i.e., ADE20K, Cityscapes, and Pascal VOC, and promoted the fairness of the segmentation model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google