MARS: Model-agnostic Biased Object Removal without Additional Supervision for Weakly-Supervised Semantic Segmentation

要約

タイトル：MARS：追加の監視なしでモデルに依存しないバイアスオブジェクト除去方法による弱く監視された意味セグメンテーション

要約：
– 弱く監視された意味セグメンテーションは、画像レベルのクラスラベルなどの弱い監視を使用して意味セグメンテーションモデルを訓練し、ラベリングコストを削減することを目的としています。
– しかし、ほとんどの手法は正確なローカリゼーションマップを生成するのに苦労し、クラスに関連する背景（バイアスオブジェクト）での偽の予測に苦しんでいます。
– バイアスオブジェクトを除去する最近の方法は、各問題のあるクラスごとにバイアスオブジェクトを手動で識別し、予測を審査してそのデータセットを収集するために追加の監視が必要であり、複数のラベルと複雑な関係を持つ実世界のデータセットにも適用できない。
– バイアス特徴を同一のデータセット内の背景と照合することにより、バイアスオブジェクトを分離して除去できることを初めて発見し、モデルに依存しない完全自動化のバイアス除去フレームワーク「MARS」（追加監視なしのモデルに依存しないバイアスオブジェクト除去）を提案します。
– 驚くべきことに、私たちは、MARSが追加の監視なしでさまざまなWSSSモデルのパフォーマンスを30％以上改善することにより、2つの人気のあるベンチマーク、PASCAL VOC 2012（val：77.7％、test：77.2％）とMS COCO 2014（val：49.4％）で新しい最高の結果を達成することを示しています。

要約(オリジナル)

Weakly-supervised semantic segmentation aims to reduce labeling costs by training semantic segmentation models using weak supervision, such as image-level class labels. However, most approaches struggle to produce accurate localization maps and suffer from false predictions in class-related backgrounds (i.e., biased objects), such as detecting a railroad with the train class. Recent methods that remove biased objects require additional supervision for manually identifying biased objects for each problematic class and collecting their datasets by reviewing predictions, limiting their applicability to the real-world dataset with multiple labels and complex relationships for biasing. Following the first observation that biased features can be separated and eliminated by matching biased objects with backgrounds in the same dataset, we propose a fully-automatic/model-agnostic biased removal framework called MARS (Model-Agnostic biased object Removal without additional Supervision), which utilizes semantically consistent features of an unsupervised technique to eliminate biased objects in pseudo labels. Surprisingly, we show that MARS achieves new state-of-the-art results on two popular benchmarks, PASCAL VOC 2012 (val: 77.7%, test: 77.2%) and MS COCO 2014 (val: 49.4%), by consistently improving the performance of various WSSS models by at least 30% without additional supervision.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI