Pointly-Supervised Panoptic Segmentation

要約

この論文では、弱い教師付きパノプティック セグメンテーションにポイント レベルの注釈を適用する新しいアプローチを提案します。
完全に監視された方法で使用される高密度のピクセル レベルのラベルの代わりに、ポイント レベルのラベルは監視として各ターゲットに 1 つのポイントのみを提供するため、注釈の負担が大幅に軽減されます。
ポイントレベルのラベルからパノプティック疑似マスクを同時に生成し、それらから学習することにより、エンドツーエンドのフレームワークで問題を定式化します。
核となる課題、つまりパノプティック疑似マスク生成に取り組むために、ピクセルからポイントへのトラバース コストを最小化することによってピクセルを解析する原理に基づいたアプローチを提案します。
パノプティック ターゲットを識別します。
Pascal VOC と MS COCO データセットで実験を行い、アプローチの有効性を実証し、教師が弱いパノプティック セグメンテーション問題で最先端のパフォーマンスを示します。
コードは https://github.com/BraveGroup/PSPS.git で入手できます。

要約(オリジナル)

In this paper, we propose a new approach to applying point-level annotations for weakly-supervised panoptic segmentation. Instead of the dense pixel-level labels used by fully supervised methods, point-level labels only provide a single point for each target as supervision, significantly reducing the annotation burden. We formulate the problem in an end-to-end framework by simultaneously generating panoptic pseudo-masks from point-level labels and learning from them. To tackle the core challenge, i.e., panoptic pseudo-mask generation, we propose a principled approach to parsing pixels by minimizing pixel-to-point traversing costs, which model semantic similarity, low-level texture cues, and high-level manifold knowledge to discriminate panoptic targets. We conduct experiments on the Pascal VOC and the MS COCO datasets to demonstrate the approach’s effectiveness and show state-of-the-art performance in the weakly-supervised panoptic segmentation problem. Codes are available at https://github.com/BraveGroup/PSPS.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google