PENet: A Joint Panoptic Edge Detection Network

要約

近年、ロボットシステムの状況認識と自律性の向上において、コンパクトで効率的なシーン理解表現が人気を博しています。
この作業では、パノプティック エッジ セグメンテーションの概念を説明し、セマンティック エッジ検出とインスタンス レベルの認識をコンパクトなパノプティック エッジ表現に組み合わせた新しい検出ネットワークである PENet を提案します。
これは、タスク間のクロスタスク相関を利用するバウンディング ボックス予測なしで、セマンティック エッジ、インスタンス センター、およびオフセット フロー マップを同時に予測するマルチタスク学習によるジョイント ネットワークを通じて取得されます。
提案されたアプローチにより、セマンティック エッジ検出を、カテゴリ認識セグメンテーションとインスタンス認識セグメンテーションの両方をカプセル化するパノプティック エッジ検出に拡張できます。
提案されたパノプティック エッジ セグメンテーション手法を検証し、実際の都市景観データセットでその有効性を実証します。

要約(オリジナル)

In recent years, compact and efficient scene understanding representations have gained popularity in increasing situational awareness and autonomy of robotic systems. In this work, we illustrate the concept of a panoptic edge segmentation and propose PENet, a novel detection network called that combines semantic edge detection and instance-level perception into a compact panoptic edge representation. This is obtained through a joint network by multi-task learning that concurrently predicts semantic edges, instance centers and offset flow map without bounding box predictions exploiting the cross-task correlations among the tasks. The proposed approach allows extending semantic edge detection to panoptic edge detection which encapsulates both category-aware and instance-aware segmentation. We validate the proposed panoptic edge segmentation method and demonstrate its effectiveness on the real-world Cityscapes dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google