MeshSegmenter: Zero-Shot Mesh Semantic Segmentation via Texture Synthesis

要約

ゼロショット 3D セマンティック セグメンテーション用に設計されたシンプルかつ効果的なフレームワークである MeshSegmenter を紹介します。
このモデルは、2D セグメンテーション モデルの強力な機能を 3D メッシュに拡張することに成功し、さまざまなメッシュとセグメント記述にわたって正確な 3D セグメンテーションを実現します。
具体的には、私たちのモデルは Segment Anything Model (SAM) モデルを利用して、3D 形状からレンダリングされた画像からターゲット領域をセグメント化します。
セグメンテーションにおけるテクスチャの重要性を考慮して、事前学習済みの安定拡散モデルを利用して 3D 形状からテクスチャを含む画像を生成し、SAM を利用してテクスチャを含む画像からターゲット領域をセグメント化します。
テクスチャはセグメンテーションの形状を補完し、車のメッシュ内の車のドアのセグメンテーションなど、幾何学的に目立たない領域でも正確な 3D セグメンテーションを容易にします。
3D セグメントを実現するために、さまざまなビューから 2D 画像をレンダリングし、テクスチャ付き画像とテクスチャなし画像の両方に対してセグメンテーションを実行します。
最後に、さまざまなビューからの 2D セグメンテーション結果と信頼スコアを 3D メッシュに統合するマルチビュー再投票スキームを開発し、セグメンテーション結果の 3D 一貫性を確保し、特定の観点からの不正確さを排除します。
これらの革新により、MeshSegmenter は定量的および定性的に安定した信頼性の高い 3D セグメンテーション結果を提供し、3D ゼロショット セグメンテーションの分野における革新的なツールとしての可能性を強調しています。
コードは \url{https://github.com/zimingzhong/MeshSegmenter} で入手できます。

要約(オリジナル)

We present MeshSegmenter, a simple yet effective framework designed for zero-shot 3D semantic segmentation. This model successfully extends the powerful capabilities of 2D segmentation models to 3D meshes, delivering accurate 3D segmentation across diverse meshes and segment descriptions. Specifically, our model leverages the Segment Anything Model (SAM) model to segment the target regions from images rendered from the 3D shape. In light of the importance of the texture for segmentation, we also leverage the pretrained stable diffusion model to generate images with textures from 3D shape, and leverage SAM to segment the target regions from images with textures. Textures supplement the shape for segmentation and facilitate accurate 3D segmentation even in geometrically non-prominent areas, such as segmenting a car door within a car mesh. To achieve the 3D segments, we render 2D images from different views and conduct segmentation for both textured and untextured images. Lastly, we develop a multi-view revoting scheme that integrates 2D segmentation results and confidence scores from various views onto the 3D mesh, ensuring the 3D consistency of segmentation results and eliminating inaccuracies from specific perspectives. Through these innovations, MeshSegmenter offers stable and reliable 3D segmentation results both quantitatively and qualitatively, highlighting its potential as a transformative tool in the field of 3D zero-shot segmentation. The code is available at \url{https://github.com/zimingzhong/MeshSegmenter}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google