Selective Prediction for Semantic Segmentation using Post-Hoc Confidence Estimation and Its Performance under Distribution Shift

要約

セマンティック セグメンテーションはさまざまなコンピュータ ビジョン アプリケーションで重要な役割を果たしていますが、高品質のラベル付きデータの欠如によってその有効性が妨げられることがよくあります。
この課題に対処するための一般的な戦略は、公開されているデータセットなど、さまざまな母集団からのデータでトレーニングされたモデルを活用することです。
ただし、このアプローチでは分布シフトの問題が発生し、対象となる母集団のパフォーマンスが低下します。
モデルのエラーが重大な結果をもたらす可能性があるシナリオでは、選択的予測方法がリスクを軽減し、専門家の監督への依存を減らす手段を提供します。
この論文では、低リソース設定におけるセマンティック セグメンテーションの選択的予測を調査し、分布シフトの下で動作する事前トレーニング済みモデルに適用される事後信頼推定量に焦点を当てます。
私たちは、セマンティック セグメンテーションに合わせた新しい画像レベルの信頼度を提案し、3 つの医療画像タスクに関する実験を通じてその有効性を実証します。
私たちの調査結果は、事後信頼推定器が分布シフトの影響を軽減するための費用対効果の高いアプローチを提供することを示しています。

要約(オリジナル)

Semantic segmentation plays a crucial role in various computer vision applications, yet its efficacy is often hindered by the lack of high-quality labeled data. To address this challenge, a common strategy is to leverage models trained on data from different populations, such as publicly available datasets. This approach, however, leads to the distribution shift problem, presenting a reduced performance on the population of interest. In scenarios where model errors can have significant consequences, selective prediction methods offer a means to mitigate risks and reduce reliance on expert supervision. This paper investigates selective prediction for semantic segmentation in low-resource settings, thus focusing on post-hoc confidence estimators applied to pre-trained models operating under distribution shift. We propose a novel image-level confidence measure tailored for semantic segmentation and demonstrate its effectiveness through experiments on three medical imaging tasks. Our findings show that post-hoc confidence estimators offer a cost-effective approach to reducing the impacts of distribution shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google