HoloPart: Generative 3D Part Amodal Segmentation

要約

3D部品のアモーダルセグメンテーション – 3D形状を完全で意味的に意味のある部分に分解しても、閉塞した場合でも – は、3Dコンテンツの作成と理解のための挑戦的であるが重要なタスクです。
既存の3Dパーツセグメンテーションメソッドは、目に見える表面パッチのみを識別し、ユーティリティを制限します。
2D Amodalセグメンテーションに触発されて、この新しいタスクを3Dドメインに紹介し、実用的な2段階のアプローチを提案し、閉塞した3Dジオメトリを推測する重要な課題に対処し、グローバルな形状の一貫性を維持し、限られたトレーニングデータで多様な形状を処理します。
まず、既存の3D部品セグメンテーションを活用して、初期の不完全な部品セグメントを取得します。
第二に、新しい拡散ベースのモデルであるHolopartを紹介して、これらのセグメントを完全な3D部品にします。
Holopartは、地元の注意を払って専門的なアーキテクチャを利用して、細粒の部分形状とグローバルな形状のコンテキストの注意をキャプチャして、全体的な形状の一貫性を確保します。
ABOおよびPartobjaverse-Tinyデータセットに基づいて新しいベンチマークを導入し、Holopartが最先端の形状完了方法を大幅に上回ることを示します。
Holopartを既存のセグメンテーション技術に組み込むことにより、3D部品のAmodalセグメンテーションで有望な結果を達成し、ジオメトリの編集、アニメーション、およびマテリアル割り当てのアプリケーションの新しい手段を開きます。

要約(オリジナル)

3D part amodal segmentation–decomposing a 3D shape into complete, semantically meaningful parts, even when occluded–is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google