Complete Instances Mining for Weakly Supervised Instance Segmentation

要約

画像レベルのラベルのみを使用する弱教師ありインスタンス セグメンテーション (WSIS) は、粗いアノテーションをより細かいタスクに合わせるのが難しいため、困難なタスクです。
しかし、ディープ ニューラル ネットワーク (DNN) の進歩に伴い、WSIS は大きな注目を集めています。
プロポーザルベースのパラダイムに従うと、単一のインスタンスが複数のプロポーザルによって表されることから生じる冗長なセグメンテーションの問題に遭遇します。
たとえば、犬の写真と提案書をネットワークに入力すると、犬を含む提案書が 1 つだけ出力されることが期待されますが、ネットワークは複数の提案書を出力します。
この問題に対処するために、提案の整合性スコアを予測するための MaskIoU ヘッドと、冗長セグメンテーションの問題を明示的にモデル化するための Complete Instances Mining (CIM) 戦略の使用による完全なインスタンスのオンライン改良に焦点を当てた、WSIS 用の新しいアプローチを提案します。
洗練された擬似ラベルを生成します。
私たちのアプローチにより、ネットワークは複数のインスタンスと完全なインスタンスを認識できるようになり、アンチノイズ戦略を組み込むことでネットワークの堅牢性がさらに向上します。
PASCAL VOC 2012 および MS COCO データセットの経験的評価により、私たちの手法が顕著な余裕を持って最先端のパフォーマンスを達成していることが実証されています。
私たちの実装は https://github.com/ZechengLi19/CIM で利用できるようになります。

要約(オリジナル)

Weakly supervised instance segmentation (WSIS) using only image-level labels is a challenging task due to the difficulty of aligning coarse annotations with the finer task. However, with the advancement of deep neural networks (DNNs), WSIS has garnered significant attention. Following a proposal-based paradigm, we encounter a redundant segmentation problem resulting from a single instance being represented by multiple proposals. For example, we feed a picture of a dog and proposals into the network and expect to output only one proposal containing a dog, but the network outputs multiple proposals. To address this problem, we propose a novel approach for WSIS that focuses on the online refinement of complete instances through the use of MaskIoU heads to predict the integrity scores of proposals and a Complete Instances Mining (CIM) strategy to explicitly model the redundant segmentation problem and generate refined pseudo labels. Our approach allows the network to become aware of multiple instances and complete instances, and we further improve its robustness through the incorporation of an Anti-noise strategy. Empirical evaluations on the PASCAL VOC 2012 and MS COCO datasets demonstrate that our method achieves state-of-the-art performance with a notable margin. Our implementation will be made available at https://github.com/ZechengLi19/CIM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google