Occlusion-Aware Instance Segmentation via BiLayer Network Architectures

要約

通常、画像上の実際のオブジェクトの輪郭とオクルージョン境界の間に区別がないため、重なりの多い画像オブジェクトのセグメント化は困難です。
以前のインスタンス セグメンテーション方法とは異なり、画像形成を 2 つの重なり合うレイヤーの構成としてモデル化し、最上層がオクルーダー オブジェクト (オクルーダー) を検出し、最下レイヤーが部分的にオクルードされたインスタンス (オクルーディー) を推測する Bilayer Convolutional Network (BCNet) を提案します。
二重層構造によるオクルージョン関係の明示的なモデリングは、オクルージョン インスタンスとオクルージョン インスタンスの両方の境界を自然に分離し、マスク回帰中のそれらの間の相互作用を考慮します。
完全畳み込みネットワーク (FCN) とグラフ畳み込みネットワーク (GCN) という 2 つの一般的な畳み込みネットワーク設計を使用して、2 層構造の有効性を調査します。
さらに、ビジョン トランスフォーマー (ViT) を使用して、画像内のインスタンスを個別の学習可能なオクルーダーとオクルーディー クエリとして表すことにより、バイレイヤー デカップリングを定式化します。
画像インスタンス セグメンテーション ベンチマーク (COCO、KINS、COCOA) とビデオに関する広範な実験で示されているように、さまざまなバックボーンとネットワーク層の選択を備えた 1/2 段階およびクエリベースのオブジェクト検出器を使用した大規模で一貫した改善により、バイレイヤー デカップリングの一般化能力が検証されます。
インスタンス セグメンテーション ベンチマーク (YTVIS、OVIS、BDD100K MOTS)、特に重度のオクルージョンの場合。
コードとデータは https://github.com/lkeab/BCNet で入手できます。

要約(オリジナル)

Segmenting highly-overlapping image objects is challenging, because there is typically no distinction between real object contours and occlusion boundaries on images. Unlike previous instance segmentation methods, we model image formation as a composition of two overlapping layers, and propose Bilayer Convolutional Network (BCNet), where the top layer detects occluding objects (occluders) and the bottom layer infers partially occluded instances (occludees). The explicit modeling of occlusion relationship with bilayer structure naturally decouples the boundaries of both the occluding and occluded instances, and considers the interaction between them during mask regression. We investigate the efficacy of bilayer structure using two popular convolutional network designs, namely, Fully Convolutional Network (FCN) and Graph Convolutional Network (GCN). Further, we formulate bilayer decoupling using the vision transformer (ViT), by representing instances in the image as separate learnable occluder and occludee queries. Large and consistent improvements using one/two-stage and query-based object detectors with various backbones and network layer choices validate the generalization ability of bilayer decoupling, as shown by extensive experiments on image instance segmentation benchmarks (COCO, KINS, COCOA) and video instance segmentation benchmarks (YTVIS, OVIS, BDD100K MOTS), especially for heavy occlusion cases. Code and data are available at https://github.com/lkeab/BCNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google