Active Label Correction for Semantic Segmentation with Foundation Models

要約

セマンティック セグメンテーションのモデルのトレーニングと検証には、ピクセル単位のアノテーションを備えたデータセットが必要ですが、これは労力がかかることで知られています。
基礎モデルやクラウドソースのデータセットなどの便利な事前分布は利用可能ですが、エラーが発生しやすいものです。
したがって、ピクセルの擬似ラベルを修正するための修正クエリの設計に基づいたアクティブラベル修正 (ALC) の効果的なフレームワークを提案します。これは、理論的分析に従ってピクセルを直接分類する標準的なフレームワークよりもアノテーターに適しています。
そしてユーザー調査。
具体的には、擬似ラベルとスーパーピクセルで有用なゼロショット予測を提供する基礎モデルを活用することで、私たちの方法は 2 つの主要な技術で構成されます: (i) 擬似ラベルを使用したアノテーターに優しい修正クエリの設計、および (ii) ラベル先読み取得関数
スーパーピクセルに基づいた拡張。
PASCAL、Cityscapes、および Kvasir-SEG データセットの実験結果は、アクティブ セマンティック セグメンテーションとラベル修正の従来の方法を上回る ALC フレームワークの有効性を示しています。
特に、私たちの方法を利用して、PASCAL データセットの 260 万ピクセルのエラーを修正することにより、改訂された PASCAL データセットを取得しました。

要約(オリジナル)

Training and validating models for semantic segmentation require datasets with pixel-wise annotations, which are notoriously labor-intensive. Although useful priors such as foundation models or crowdsourced datasets are available, they are error-prone. We hence propose an effective framework of active label correction (ALC) based on a design of correction query to rectify pseudo labels of pixels, which in turn is more annotator-friendly than the standard one inquiring to classify a pixel directly according to our theoretical analysis and user study. Specifically, leveraging foundation models providing useful zero-shot predictions on pseudo labels and superpixels, our method comprises two key techniques: (i) an annotator-friendly design of correction query with the pseudo labels, and (ii) an acquisition function looking ahead label expansions based on the superpixels. Experimental results on PASCAL, Cityscapes, and Kvasir-SEG datasets demonstrate the effectiveness of our ALC framework, outperforming prior methods for active semantic segmentation and label correction. Notably, utilizing our method, we obtained a revised dataset of PASCAL by rectifying errors in 2.6 million pixels in PASCAL dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google