Scene-Centric Unsupervised Panoptic Segmentation

要約

監視されていないパノプティックセグメンテーションは、手動で注釈付きのデータをトレーニングすることなく、画像を意味的に意味のある領域と異なるオブジェクトインスタンスに分割することを目的としています。
監視されていないパノプティックシーンの理解に関する以前の作業とは対照的に、オブジェクト中心のトレーニングデータの必要性を排除し、複雑なシーンの監視されていない理解を可能にします。
そのために、シーン中心の画像を直接訓練する最初の監視されていないパノプティック法を提示します。
特に、視覚表現、深さ、および動きの合図を組み合わせて、複雑なシーン中心のデータで高解像度のパノプティック擬似ラベルを取得するアプローチを提案します。
擬似ラベルトレーニングとパノプティックセルフトレーニング戦略の両方を利用すると、人間の注釈を必要とせずに複雑なシーンのパノプティックセグメンテーションを正確に予測する新しいアプローチが得られます。
私たちのアプローチは、たとえば、PQで都市の景観に関する監視されていないパノプティックセグメンテーションの最近の最新のアートを超えるパノプティック品質を大幅に改善します。

要約(オリジナル)

Unsupervised panoptic segmentation aims to partition an image into semantically meaningful regions and distinct object instances without training on manually annotated data. In contrast to prior work on unsupervised panoptic scene understanding, we eliminate the need for object-centric training data, enabling the unsupervised understanding of complex scenes. To that end, we present the first unsupervised panoptic method that directly trains on scene-centric imagery. In particular, we propose an approach to obtain high-resolution panoptic pseudo labels on complex scene-centric data, combining visual representations, depth, and motion cues. Utilizing both pseudo-label training and a panoptic self-training strategy yields a novel approach that accurately predicts panoptic segmentation of complex scenes without requiring any human annotations. Our approach significantly improves panoptic quality, e.g., surpassing the recent state of the art in unsupervised panoptic segmentation on Cityscapes by 9.4% points in PQ.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google