SAMPro3D: Locating SAM Prompts in 3D for Zero-Shot Scene Segmentation

要約

ゼロショット 3D 屋内シーン セグメンテーション用の SAMPro3D を紹介します。
3D 点群と 3D シーンの複数のポーズ付き 2D フレームを考慮して、私たちのアプローチでは、事前トレーニング済みのセグメント何でもモデル (SAM) を 2D フレームに適用することで 3D シーンをセグメント化します。
私たちの重要なアイデアには、自然な 3D プロンプトとしてシーン内の 3D ポイントを配置し、フレーム全体で投影されたピクセル プロンプトを位置合わせし、ピクセル プロンプトと SAM 予測マスクの両方でフレームの一貫性を確保することが含まれます。
さらに、セグメンテーションの品質を向上させるために、すべての 2D フレームからのフィードバックに基づいて低品質の 3D プロンプトをフィルタリングすることをお勧めします。
また、異なる 3D プロンプトが同じオブジェクトをセグメント化している場合は、それらを統合して、より包括的なセグメント化を実現することも提案します。
特に、私たちの方法ではドメイン固有のデータに対する追加のトレーニングが必要ないため、SAM のゼロショット能力を維持できます。
広範な定性的および定量的な結果は、私たちの方法が以前のゼロショットまたは完全に教師ありのアプローチよりも高品質でより多様なセグメンテーションを一貫して達成し、多くの場合、人間レベルのアノテーションをも超えることを示しています。
プロジェクト ページには https://mutianxu.github.io/sampro3d/ からアクセスできます。

要約(オリジナル)

We introduce SAMPro3D for zero-shot 3D indoor scene segmentation. Given the 3D point cloud and multiple posed 2D frames of 3D scenes, our approach segments 3D scenes by applying the pretrained Segment Anything Model (SAM) to 2D frames. Our key idea involves locating 3D points in scenes as natural 3D prompts to align their projected pixel prompts across frames, ensuring frame-consistency in both pixel prompts and their SAM-predicted masks. Moreover, we suggest filtering out low-quality 3D prompts based on feedback from all 2D frames, for enhancing segmentation quality. We also propose to consolidate different 3D prompts if they are segmenting the same object, bringing a more comprehensive segmentation. Notably, our method does not require any additional training on domain-specific data, enabling us to preserve the zero-shot power of SAM. Extensive qualitative and quantitative results show that our method consistently achieves higher quality and more diverse segmentation than previous zero-shot or fully supervised approaches, and in many cases even surpasses human-level annotations. The project page can be accessed at https://mutianxu.github.io/sampro3d/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google