PolyphonicFormer: Unified Query Learning for Depth-aware Video Panoptic Segmentation

要約

深度認識ビデオ パノプティック セグメンテーション (DVPS) は、ビデオのパノプティック セグメンテーションと深度を同時に予測することを目的とした、新しい困難な視覚問題です。
以前の作業では、既存のパノプティック セグメンテーション メソッドを超高密度の深度予測とインスタンス トラッキング ヘッドで拡張することにより、このタスクを解決しました。
ただし、深度とパノプティック セグメンテーションの関係は十分に調査されていません。既存の方法を単純に組み合わせると競合が発生し、慎重に重量バランスを取る必要があります。
このホワイト ペーパーでは、これらのサブタスクを DVPS タスクの下で統合し、より堅牢な結果に導くビジョン トランスフォーマーである PolyphonicFormer を紹介します。
私たちの主な洞察は、オブジェクトクエリを使用してインスタンスレベルの深度マップを予測するという提案された新しいパラダイムを使用して、深度をパノプティックセグメンテーションと調和させることができるということです。
次に、クエリベースの学習による 2 つのタスク間の関係が調査されます。
実験から、深度推定とパノプティック セグメンテーションの両方の側面からの設計の利点を示します。
各 Thing クエリもインスタンス単位の情報をエンコードするため、外観学習で直接追跡を行うのが自然です。
私たちの方法は、2 つの DVPS データセット (Semantic KITTI、Cityscapes) で最先端の結果を達成し、ICCV-2021 BMTT チャレンジ ビデオ + 深度トラックで 1 位にランクされています。
コードは https://github.com/HarborYuan/PolyphonicFormer で入手できます。

要約(オリジナル)

The Depth-aware Video Panoptic Segmentation (DVPS) is a new challenging vision problem that aims to predict panoptic segmentation and depth in a video simultaneously. The previous work solves this task by extending the existing panoptic segmentation method with an extra dense depth prediction and instance tracking head. However, the relationship between the depth and panoptic segmentation is not well explored — simply combining existing methods leads to competition and needs carefully weight balancing. In this paper, we present PolyphonicFormer, a vision transformer to unify these sub-tasks under the DVPS task and lead to more robust results. Our principal insight is that the depth can be harmonized with the panoptic segmentation with our proposed new paradigm of predicting instance level depth maps with object queries. Then the relationship between the two tasks via query-based learning is explored. From the experiments, we demonstrate the benefits of our design from both depth estimation and panoptic segmentation aspects. Since each thing query also encodes the instance-wise information, it is natural to perform tracking directly with appearance learning. Our method achieves state-of-the-art results on two DVPS datasets (Semantic KITTI, Cityscapes), and ranks 1st on the ICCV-2021 BMTT Challenge video + depth track. Code is available at https://github.com/HarborYuan/PolyphonicFormer .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google