PARTFIELD: Learning 3D Feature Fields for Part Segmentation and Beyond

要約

Partfieldを提案します。これは、定義済みのテンプレートやテキストベースの名前に依存することなく、パーツの一般的な概念とその階層の一般的な概念をキャプチャし、さまざまなモダリティにわたってオープンワールド3D形状に適用できます。
Partfieldは、推論時に3Dフィードフォワードパスのみを必要とし、以前のアプローチと比較してランタイムと堅牢性を大幅に改善します。
私たちのモデルは、対照的な学習定式化を介して、監視されていない大規模なデータセットのラベル付きデータセットと画像セグメンテーションの組み合わせから2Dおよび3Dパーツの提案を蒸留することでトレーニングされています。
階層的な部分分解を生成するためにクラスター化できる連続機能フィールドを生成します。
比較では、パートフィールドは、他のクラスに依存しないパートセグメンテーション方法よりも最大20％の正確であり、多くの場合数桁高速であることが示されています。
シングルシェイプ部分の分解を超えて、学習したフィールドの一貫性は形状にわたって現れ、共同セグメンテーションや対応などのタスクを可能にします。これは、これらの汎用、階層的、一貫した3D機能フィールドのいくつかのアプリケーションで実証します。
私たちのウェブページをチェックしてください！
https://research.nvidia.com/labs/toronto-ai/partfield-release/

要約(オリジナル)

We propose PartField, a feedforward approach for learning part-based 3D features, which captures the general concept of parts and their hierarchy without relying on predefined templates or text-based names, and can be applied to open-world 3D shapes across various modalities. PartField requires only a 3D feedforward pass at inference time, significantly improving runtime and robustness compared to prior approaches. Our model is trained by distilling 2D and 3D part proposals from a mix of labeled datasets and image segmentations on large unsupervised datasets, via a contrastive learning formulation. It produces a continuous feature field which can be clustered to yield a hierarchical part decomposition. Comparisons show that PartField is up to 20% more accurate and often orders of magnitude faster than other recent class-agnostic part-segmentation methods. Beyond single-shape part decomposition, consistency in the learned field emerges across shapes, enabling tasks such as co-segmentation and correspondence, which we demonstrate in several applications of these general-purpose, hierarchical, and consistent 3D feature fields. Check our Webpage! https://research.nvidia.com/labs/toronto-ai/partfield-release/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google