Point2Mask: Point-supervised Panoptic Segmentation via Optimal Transport

要約

弱教師付き画像セグメンテーションは、高価なピクセル単位のラベリングを回避することを目的として、近年研究が注目されている。本論文では、1つのターゲットに対して1つのランダムな点アノテーションを学習用に用いるだけで、高品質な汎視野予測を実現する効果的な手法、すなわちPoint2Maskを紹介する。具体的には、パノプティック擬似マスク生成を最適輸送（Optimal Transport: OT）問題として定式化する。輸送コストは、導入されたタスク指向マップによって計算される。タスク指向マップは、様々なモノやコトのターゲット間のカテゴリ毎およびインスタンス毎の違いに注目する。さらに、セントロイドに基づくスキームを提案し、各gt点供給者の正確な単位数を設定する。したがって、擬似マスク生成は、グローバルに最小の輸送コストで最適な輸送計画を見つけることに変換され、これはSinkhorn-Knopp反復によって解くことができる。Pascal VOCとCOCOを用いた実験結果は、点教師付き汎光セグメンテーションに対する我々の提案するPoint2Maskアプローチの有望な性能を実証している。ソースコードは以下から入手可能： https://github.com/LiWentomng/Point2Mask.

要約(オリジナル)

Weakly-supervised image segmentation has recently attracted increasing research attentions, aiming to avoid the expensive pixel-wise labeling. In this paper, we present an effective method, namely Point2Mask, to achieve high-quality panoptic prediction using only a single random point annotation per target for training. Specifically, we formulate the panoptic pseudo-mask generation as an Optimal Transport (OT) problem, where each ground-truth (gt) point label and pixel sample are defined as the label supplier and consumer, respectively. The transportation cost is calculated by the introduced task-oriented maps, which focus on the category-wise and instance-wise differences among the various thing and stuff targets. Furthermore, a centroid-based scheme is proposed to set the accurate unit number for each gt point supplier. Hence, the pseudo-mask generation is converted into finding the optimal transport plan at a globally minimal transportation cost, which can be solved via the Sinkhorn-Knopp Iteration. Experimental results on Pascal VOC and COCO demonstrate the promising performance of our proposed Point2Mask approach to point-supervised panoptic segmentation. Source code is available at: https://github.com/LiWentomng/Point2Mask.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL