Occlusion-Aware Seamless Segmentation

要約

パノラマ画像は視野 (FoV) を広げることができ、オクルージョンを意識した予測はシーンの理解を深め、ドメイン適応は表示ドメイン間で転送できます。
この研究では、これら 3 つの課題すべてに同時に取り組む新しいタスクである Occlusion-Aware Seamless Segmentation (OASS) を導入します。
OASS のベンチマークのために、ブレンディング パノラマ アモーダル シームレス セグメンテーション用の新しい人間による注釈付きデータセット、つまり BlendPASS を確立します。
さらに、狭い FoV、オクルージョン、ドメイン ギャップを一度にアンマスクすることを目的とした最初のソリューション UnmaskFormer を提案します。
具体的には、UnmaskFormer には、Unmasking Attendant (UA) と Amodal- Oriented Mix (AoMix) の重要な設計が含まれています。
私たちの手法は、BlendPASS データセット上で最先端のパフォーマンスを達成し、26.58% という驚くべき mAPQ と 43.66% の mIoU に達しました。
公開パノラマ セマンティック セグメンテーション データセット、つまり SynPASS と DensePASS では、私たちの方法は以前の方法よりも優れたパフォーマンスを示し、mIoU でそれぞれ 45.34% と 48.08% を獲得しました。
新しい BlendPASS データセットとソース コードは https://github.com/yihong-97/OASS で入手できます。

要約(オリジナル)

Panoramic images can broaden the Field of View (FoV), occlusion-aware prediction can deepen the understanding of the scene, and domain adaptation can transfer across viewing domains. In this work, we introduce a novel task, Occlusion-Aware Seamless Segmentation (OASS), which simultaneously tackles all these three challenges. For benchmarking OASS, we establish a new human-annotated dataset for Blending Panoramic Amodal Seamless Segmentation, i.e., BlendPASS. Besides, we propose the first solution UnmaskFormer, aiming at unmasking the narrow FoV, occlusions, and domain gaps all at once. Specifically, UnmaskFormer includes the crucial designs of Unmasking Attention (UA) and Amodal-oriented Mix (AoMix). Our method achieves state-of-the-art performance on the BlendPASS dataset, reaching a remarkable mAPQ of 26.58% and mIoU of 43.66%. On public panoramic semantic segmentation datasets, i.e., SynPASS and DensePASS, our method outperforms previous methods and obtains 45.34% and 48.08% in mIoU, respectively. The fresh BlendPASS dataset and our source code are available at https://github.com/yihong-97/OASS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google