Towards Deeply Unified Depth-aware Panoptic Segmentation with Bi-directional Guidance Learning

要約

奥行きを意識したパノプティック セグメンテーションは、より堅牢なシーン解釈のために意味論的理解と幾何学的理解を組み合わせたコンピュータ ビジョンの新たなトピックです。
最近の研究では、この課題に取り組むための統一フレームワークを追求していますが、ほとんどの場合、依然としてそれを 2 つの個別の学習タスクとして扱っているため、クロスドメイン情報を探索する可能性が制限されています。
我々は、同一のオブジェクトクエリを使用してセグメントごとに結合セグメンテーションと深度推定を実行する、深度を意識したパノプティックセグメンテーションのための深く統合されたフレームワークを提案します。
2 つのタスク間のギャップを狭めるために、潜在表現を使用してシーン ジオメトリをオブジェクト クエリに統合できる幾何学的クエリ強化方法をさらに設計します。
さらに、相互関係を利用してタスク横断的な特徴学習を促進する双方向のガイダンス学習アプローチを提案します。
私たちの方法は、Cityscapes-DVPS と SemKITTI-DVPS データセットの両方で深度を意識したパノプティック セグメンテーションの新しい最先端技術を確立します。
さらに、私たちの指導学習アプローチは、不完全な監督ラベルの下でもパフォーマンスの向上をもたらすことが示されています。

要約(オリジナル)

Depth-aware panoptic segmentation is an emerging topic in computer vision which combines semantic and geometric understanding for more robust scene interpretation. Recent works pursue unified frameworks to tackle this challenge but mostly still treat it as two individual learning tasks, which limits their potential for exploring cross-domain information. We propose a deeply unified framework for depth-aware panoptic segmentation, which performs joint segmentation and depth estimation both in a per-segment manner with identical object queries. To narrow the gap between the two tasks, we further design a geometric query enhancement method, which is able to integrate scene geometry into object queries using latent representations. In addition, we propose a bi-directional guidance learning approach to facilitate cross-task feature learning by taking advantage of their mutual relations. Our method sets the new state of the art for depth-aware panoptic segmentation on both Cityscapes-DVPS and SemKITTI-DVPS datasets. Moreover, our guidance learning approach is shown to deliver performance improvement even under incomplete supervision labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google