Instance-wise Uncertainty for Class Imbalance in Semantic Segmentation

要約

セマンティック セグメンテーションは、膨大な数のアプリケーションに使用される基本的なコンピューター ビジョン タスクです。
最先端の手法は、不確実性を誤って推定したり、特にトレーニング中に見られなかったデータの予測を過信したりすることが知られている深層学習モデルへの依存度を高めています。
これは、固有のクラスの不均衡により、セマンティック セグメンテーションで特に問題になります。
一般的な不確実性の定量化アプローチはタスクに依存せず、このタスクで重要な不確実性の推定に空間ピクセル相関を活用できません。
この研究では、セマンティック セグメンテーション用に特別に設計された新しいトレーニング方法論が紹介されています。
トレーニング サンプルは、アンサンブルによって計算されたインスタンスごとの不確実性マスクによって重み付けされます。
これは、クラス比率の逆数を使用する場合やクラスの重みをまったく使用しない場合と比較して、少数派クラスのパフォーマンスが向上し、モデルの一般化とドメイン シフトに対する堅牢性が向上することが示されています。
この方法は、セマンティック セグメンテーションにおけるクラスの不均衡と不確実性推定の課題に対処し、さまざまなアプリケーションにわたってモデルのパフォーマンスと信頼性を向上させる可能性があります。

要約(オリジナル)

Semantic segmentation is a fundamental computer vision task with a vast number of applications. State of the art methods increasingly rely on deep learning models, known to incorrectly estimate uncertainty and being overconfident in predictions, especially in data not seen during training. This is particularly problematic in semantic segmentation due to inherent class imbalance. Popular uncertainty quantification approaches are task-agnostic and fail to leverage spatial pixel correlations in uncertainty estimates, crucial in this task. In this work, a novel training methodology specifically designed for semantic segmentation is presented. Training samples are weighted by instance-wise uncertainty masks computed by an ensemble. This is shown to increase performance on minority classes, boost model generalization and robustness to domain-shift when compared to using the inverse of class proportions or no class weights at all. This method addresses the challenges of class imbalance and uncertainty estimation in semantic segmentation, potentially enhancing model performance and reliability across various applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google