BAISeg: Boundary Assisted Weakly Supervised Instance Segmentation

要約

インスタンス レベルの監視なしでインスタンス レベルのマスクを抽出する方法は、弱監視インスタンス セグメンテーション (WSIS) の主な課題です。
一般的な WSIS 手法は、ピクセル間の関係を学習することで変位フィールド (DF) を推定し、クラスタリングを実行してインスタンスを識別します。
ただし、結果として得られるインスタンスの重心は本質的に不安定であり、クラスタリング アルゴリズムが異なると大きく異なります。
この論文では、ピクセルレベルのアノテーションを使用してインスタンスのセグメンテーションを実現する、WSIS の新しいパラダイムである境界支援インスタンス セグメンテーション (BAISeg) を提案します。
BAISeg は、インスタンス認識境界検出 (IABD) ブランチとセマンティック セグメンテーション ブランチで構成されます。
IABD ブランチは、インスタンスの重心ではなくクラスに依存しないインスタンスの境界を予測することによってインスタンスを識別するため、以前の DF ベースのアプローチとは異なります。
特に、豊富なコンテキスト情報を取得し、弱い応答でインスタンスの境界を捕捉するために、IABD ブランチの Cascade Fusion Module (CFM) と Deep Mutual Attendee (DMA) を提案しました。
トレーニング段階では、IABD ブランチの識別能力を強化するためにピクセル間のコントラストを採用しました。
これにより、インスタンス境界の連続性と閉鎖性がさらに強化されます。
PASCAL VOC 2012 と MS COCO に関する広範な実験により、私たちのアプローチの有効性が実証され、ピクセル レベルの注釈のみでかなりのパフォーマンスが達成されました。
コードは https://github.com/wsis-seg/BAISeg で入手できます。

要約(オリジナル)

How to extract instance-level masks without instance-level supervision is the main challenge of weakly supervised instance segmentation (WSIS). Popular WSIS methods estimate a displacement field (DF) via learning inter-pixel relations and perform clustering to identify instances. However, the resulting instance centroids are inherently unstable and vary significantly across different clustering algorithms. In this paper, we propose Boundary-Assisted Instance Segmentation (BAISeg), which is a novel paradigm for WSIS that realizes instance segmentation with pixel-level annotations. BAISeg comprises an instance-aware boundary detection (IABD) branch and a semantic segmentation branch. The IABD branch identifies instances by predicting class-agnostic instance boundaries rather than instance centroids, therefore, it is different from previous DF-based approaches. In particular, we proposed the Cascade Fusion Module (CFM) and the Deep Mutual Attention (DMA) in the IABD branch to obtain rich contextual information and capture instance boundaries with weak responses. During the training phase, we employed Pixel-to-Pixel Contrast to enhance the discriminative capacity of the IABD branch. This further strengthens the continuity and closedness of the instance boundaries. Extensive experiments on PASCAL VOC 2012 and MS COCO demonstrate the effectiveness of our approach, and we achieve considerable performance with only pixel-level annotations. The code will be available at https://github.com/wsis-seg/BAISeg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google