Scribble Hides Class: Promoting Scribble-Based Weakly-Supervised Semantic Segmentation with Its Class Label

要約

まばらな落書き監視を使用した、落書きベースの弱監視セマンティック セグメンテーションは、完全に注釈が付けられた代替手段と比較して注釈コストが削減されるため、注目を集めています。
既存の方法は、主に、ラベル付きピクセルを、監視用のローカルキューを使用してラベルなしピクセルに拡散することによって、擬似ラベルを生成します。
ただし、この拡散プロセスでは、セマンティック セグメンテーションにとって重要なグローバル セマンティクスとクラス固有の手がかりを利用できません。
この研究では、画像レベルのクラスと監視のためのグローバルセマンティクスによって通知される落書き注釈と疑似ラベルの両方を利用する、クラス駆動の落書きプロモーションネットワークを提案します。
擬似ラベルを直接採用するとセグメンテーション モデルを誤った方向に導く可能性があるため、特徴空間の前景表現を修正するローカリゼーション修正モジュールを設計します。
両方の監視の利点をさらに組み合わせるために、不確実性を低減するための距離エントロピー損失も導入します。これは、落書きと疑似ラベルの境界によって決定される信頼できる領域に従ってピクセルごとの信頼重みを適応させます。
さまざまな品質の落書きアノテーションを使用した ScribbleSup データセットの実験は、以前のすべての方法を上回り、私たちの方法の優位性と堅牢性を実証しました。コードは https://github.com/Zxl19990529/Class-driven-Scribble-Promotion-Network で入手できます。
。

要約(オリジナル)

Scribble-based weakly-supervised semantic segmentation using sparse scribble supervision is gaining traction as it reduces annotation costs when compared to fully annotated alternatives. Existing methods primarily generate pseudo-labels by diffusing labeled pixels to unlabeled ones with local cues for supervision. However, this diffusion process fails to exploit global semantics and class-specific cues, which are important for semantic segmentation. In this study, we propose a class-driven scribble promotion network, which utilizes both scribble annotations and pseudo-labels informed by image-level classes and global semantics for supervision. Directly adopting pseudo-labels might misguide the segmentation model, thus we design a localization rectification module to correct foreground representations in the feature space. To further combine the advantages of both supervisions, we also introduce a distance entropy loss for uncertainty reduction, which adapts per-pixel confidence weights according to the reliable region determined by the scribble and pseudo-label’s boundary. Experiments on the ScribbleSup dataset with different qualities of scribble annotations outperform all the previous methods, demonstrating the superiority and robustness of our method.The code is available at https://github.com/Zxl19990529/Class-driven-Scribble-Promotion-Network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google