Multi-Modal 3D Mesh Reconstruction from Images and Text

要約

目に見えないオブジェクトの6Dオブジェクトのポーズ推定は、ロボット工学では不可欠ですが、伝統的には、大きなデータセット、高い計算コスト、および一般化に苦労するトレーニングモデルに依存しています。
ゼロショットアプローチは、トレーニングの必要性を排除しますが、既存の3Dオブジェクトモデルに依存します。
これに対処するために、言語誘導の少数のショット3D再構成方法を提案し、いくつかの入力画像から3Dメッシュを再構築します。
提案されたパイプラインでは、入力画像のセットと言語クエリを受信します。
GroundingDinoとセグメントの組み合わせは、モデル出力セグメント化されたマスクを出力し、そこからスパースポイントクラウドがVGGSFMで再構築されます。
その後、メッシュはガウススプラッティングメソッドシュガーで再構築されます。
最終的なクリーニングステップでは、アーティファクトが削除され、クエリオブジェクトの最終的な3Dメッシュになります。
ジオメトリとテクスチャの精度と品質の観点から、この方法を評価します。
さらに、3Dオブジェクトの再構築品質、効率、計算スケーラビリティに視聴角度、入力画像の数、画像のオーバーラップなどのイメージング条件の影響を研究します。

要約(オリジナル)

6D object pose estimation for unseen objects is essential in robotics but traditionally relies on trained models that require large datasets, high computational costs, and struggle to generalize. Zero-shot approaches eliminate the need for training but depend on pre-existing 3D object models, which are often impractical to obtain. To address this, we propose a language-guided few-shot 3D reconstruction method, reconstructing a 3D mesh from few input images. In the proposed pipeline, receives a set of input images and a language query. A combination of GroundingDINO and Segment Anything Model outputs segmented masks from which a sparse point cloud is reconstructed with VGGSfM. Subsequently, the mesh is reconstructed with the Gaussian Splatting method SuGAR. In a final cleaning step, artifacts are removed, resulting in the final 3D mesh of the queried object. We evaluate the method in terms of accuracy and quality of the geometry and texture. Furthermore, we study the impact of imaging conditions such as viewing angle, number of input images, and image overlap on 3D object reconstruction quality, efficiency, and computational scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google