STRAP: Structured Object Affordance Segmentation with Point Supervision

要約

タイトル：STRAP：点監視を用いた構造化オブジェクトアフォーダンス・セグメンテーション

要約：
– 指向監視による注釈の節約によって、数多くの2Dおよび3Dシーン理解問題で効果が証明されています。
– この成功は主に構造化出力空間に帰属しており、つまり、高い空間的関連性を持つサンプルは同じラベルを共有する傾向があるということです。
– この精神を共有することで、私たちは点監視を用いたアフォーダンス・セグメンテーションを研究し、未開拓のデュアル・アフィニティ・スペーシャル・アフィニティおよびラベル・アフィニティを受け継ぎます。
– ラベル・アフィニティにより、アフォーダンス・セグメンテーションをマルチラベル予測問題として参照します。例えば、プレートは両方持てるものであり、中に入るものでもあります。
– スペーシャル・アフィニティにより、同様の視覚特徴を持つ近くのピクセルは同じポイント注釈を共有するべきであるという普遍的な事前知識を参照します。
– ラベル・アフィニティに対処するために、ラベルの関係を効果的に密にして新しい領域（ラベルの共起）でラベルを強化する密な予測ネットワークを設計します。
– スペーシャル・アフィニティに対処するために、グローバルパッチの相互作用についてTransformerバックボーンを利用するとともに、正則化損失を利用します。
– 実験では、CAD120データセットで私たちの方法をベンチマークし、先行研究に比べて大幅な性能向上を示しました。

要約(オリジナル)

With significant annotation savings, point supervision has been proven effective for numerous 2D and 3D scene understanding problems. This success is primarily attributed to the structured output space; i.e., samples with high spatial affinity tend to share the same labels. Sharing this spirit, we study affordance segmentation with point supervision, wherein the setting inherits an unexplored dual affinity-spatial affinity and label affinity. By label affinity, we refer to affordance segmentation as a multi-label prediction problem: A plate can be both holdable and containable. By spatial affinity, we refer to a universal prior that nearby pixels with similar visual features should share the same point annotation. To tackle label affinity, we devise a dense prediction network that enhances label relations by effectively densifying labels in a new domain (i.e., label co-occurrence). To address spatial affinity, we exploit a Transformer backbone for global patch interaction and a regularization loss. In experiments, we benchmark our method on the challenging CAD120 dataset, showing significant performance gains over prior methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI