On Calibrating Semantic Segmentation Models: Analyses and An Algorithm

要約

セマンティックセグメンテーションのキャリブレーションの問題を研究する。画像分類の場合、信頼度のモデル誤認識を緩和するために、多くの既存の解決策が提案されている。しかし、現在までのところ、セマンティックセグメンテーションに関する信頼度校正の研究はまだ限定的である。我々は、セマンティックセグメンテーションモデルのキャリブレーションに関する体系的な研究を提供し、シンプルかつ効果的なアプローチを提案する。まず、モデル容量、作物サイズ、マルチスケールテスト、予測の正しさが校正に影響を与えることを発見する。その中でも、予測の正しさ、特に予測の誤りは、過信による誤用に対してより重要である。次に、予測の正誤を分離してスケーリングを行い、予測の誤りのロジットスムージングをより重視することで、シンプルで統一的かつ効果的なアプローチである選択的スケーリングを提案する。次に、既存の一般的なキャリブレーション手法を研究し、意味分割のキャリブレーションにおいて選択的スケーリングと比較する。ドメイン内キャリブレーションとドメインシフトキャリブレーションの両方について、様々なベンチマークを用いた広範な実験を行い、選択的スケーリングが常に他の方法を上回ることを示す。

要約(オリジナル)

We study the problem of semantic segmentation calibration. For image classification, lots of existing solutions are proposed to alleviate model miscalibration of confidence. However, to date, confidence calibration research on semantic segmentation is still limited. We provide a systematic study on the calibration of semantic segmentation models and propose a simple yet effective approach. First, we find that model capacity, crop size, multi-scale testing, and prediction correctness have impact on calibration. Among them, prediction correctness, especially misprediction, is more important to miscalibration due to over-confidence. Next, we propose a simple, unifying, and effective approach, namely selective scaling, by separating correct/incorrect prediction for scaling and more focusing on misprediction logit smoothing. Then, we study popular existing calibration methods and compare them with selective scaling on semantic segmentation calibration. We conduct extensive experiments with a variety of benchmarks on both in-domain and domain-shift calibration, and show that selective scaling consistently outperforms other methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL