Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations

要約

部分認識パノプティック セグメンテーション (PPS) では、(a) 画像内の各前景オブジェクトと背景領域がセグメント化および分類されること、および (b) 前景オブジェクト内のすべての部分がセグメント化および分類され、親オブジェクトにリンクされることが必要です。
既存の方法は、オブジェクトレベルとパーツレベルのセグメンテーションを別々に実行することによって PPS にアプローチします。
ただし、部品レベルの予測は個々の親オブジェクトにリンクされていません。
したがって、学習目標は PPS タスクの目標と一致せず、PPS のパフォーマンスに悪影響を及ぼします。
これを解決し、より正確な PPS 予測を行うために、Task-Aligned Part-aware Panoptic Segmentation (TAPPS) を提案します。
この方法では、一連の共有クエリを使用して、(a) オブジェクト レベルのセグメントと、(b) それらの同じオブジェクト内のパーツ レベルのセグメントを共同で予測します。
その結果、TAPPS は、個々の親オブジェクトにリンクされているパーツレベルのセグメントを予測する方法を学習し、学習目標をタスクの目標に合わせて、TAPPS がオブジェクトとパーツの結合表現を活用できるようにします。
実験により、TAPPS が物体と部品を個別に予測する方法よりも大幅に優れたパフォーマンスを示し、新しい最先端の PPS 結果が得られることがわかりました。

要約(オリジナル)

Part-aware panoptic segmentation (PPS) requires (a) that each foreground object and background region in an image is segmented and classified, and (b) that all parts within foreground objects are segmented, classified and linked to their parent object. Existing methods approach PPS by separately conducting object-level and part-level segmentation. However, their part-level predictions are not linked to individual parent objects. Therefore, their learning objective is not aligned with the PPS task objective, which harms the PPS performance. To solve this, and make more accurate PPS predictions, we propose Task-Aligned Part-aware Panoptic Segmentation (TAPPS). This method uses a set of shared queries to jointly predict (a) object-level segments, and (b) the part-level segments within those same objects. As a result, TAPPS learns to predict part-level segments that are linked to individual parent objects, aligning the learning objective with the task objective, and allowing TAPPS to leverage joint object-part representations. With experiments, we show that TAPPS considerably outperforms methods that predict objects and parts separately, and achieves new state-of-the-art PPS results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google