RecurSeed and EdgePredictMix: Single-stage Learning is Sufficient for Weakly-Supervised Semantic Segmentation

要約

画像レベルのラベル (WSSS-IL) のみを使用した弱い教師ありセマンティック セグメンテーションは潜在的に有用ですが、その低パフォーマンスと実装の複雑さは依然としてそのアプリケーションを制限しています。
主な原因は、(a) 非検出現象と (b) 誤検出現象です。(a) 既存の WSSS-IL メソッドから改良されたクラス アクティベーション マップは、まだ大規模なオブジェクトの部分的な領域しか表していません。
-スケールオブジェクト、過度のアクティブ化により、オブジェクトのエッジから逸脱します。
再帰的な反復によって非検出と誤検出を交互に減らす RecurSeed を提案し、それによって両方のエラーを最小化する最適なジャンクションを暗黙的に見つけます。
また、EdgePredictMix と呼ばれる新しいデータ拡張 (DA) アプローチを提案します。これは、セグメンテーション結果を結合する際に隣接するピクセル間の確率差情報を利用してオブジェクトのエッジをさらに表現し、既存の DA メソッドを WSSS に適用する際の欠点を補います。
PASCAL VOC 2012 および MS COCO 2014 ベンチマークで最先端のパフォーマンスを達成しました (VOC val 74.4%、COCO val 46.4%)。
コードは https://github.com/OFRIN/RecurSeed_and_EdgePredictMix で入手できます。

要約(オリジナル)

Although weakly-supervised semantic segmentation using only image-level labels (WSSS-IL) is potentially useful, its low performance and implementation complexity still limit its application. The main causes are (a) non-detection and (b) false-detection phenomena: (a) The class activation maps refined from existing WSSS-IL methods still only represent partial regions for large-scale objects, and (b) for small-scale objects, over-activation causes them to deviate from the object edges. We propose RecurSeed which alternately reduces non- and false detections through recursive iterations, thereby implicitly finding an optimal junction that minimizes both errors. We also propose a novel data augmentation (DA) approach called EdgePredictMix, which further expresses an object’s edge by utilizing the probability difference information between adjacent pixels in combining the segmentation results, thereby compensating for the shortcomings when applying the existing DA methods to WSSS. We achieved state-of-the-art performances on the PASCAL VOC 2012 and MS COCO 2014 benchmarks (VOC val 74.4%, COCO val 46.4%). The code is available at https://github.com/OFRIN/RecurSeed_and_EdgePredictMix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google