Gaussian Building Mesh (GBM): Extract a Building’s 3D Mesh with Google Earth and Gaussian Splatting

要約

最近リリースされたオープンソースの事前トレーニング済み基本画像セグメンテーションおよびオブジェクト検出モデル (SAM2+GroundingDINO) により、多視点 2D 画像内の対象オブジェクトの幾何学的に一貫したセグメンテーションが可能になります。
ユーザーは、テキストベースまたはクリックベースのプロンプトを使用して、ラベル付きトレーニング データセットを必要とせずに、関心のあるオブジェクトをセグメント化できます。
ガウス スプラッティングを使用すると、2D 画像に基づいてシーンのジオメトリと輝度の 3D 表現を学習できます。
Google Earth Studio、SAM2+GroundingDINO、2D ガウス スプラッティング、および形態学的操作と輪郭の単純化に基づくマスク洗練の改善を組み合わせて、名前、住所、または地理座標に基づいて建物の 3D メッシュを抽出するパイプラインを作成しました。

要約(オリジナル)

Recently released open-source pre-trained foundational image segmentation and object detection models (SAM2+GroundingDINO) allow for geometrically consistent segmentation of objects of interest in multi-view 2D images. Users can use text-based or click-based prompts to segment objects of interest without requiring labeled training datasets. Gaussian Splatting allows for the learning of the 3D representation of a scene’s geometry and radiance based on 2D images. Combining Google Earth Studio, SAM2+GroundingDINO, 2D Gaussian Splatting, and our improvements in mask refinement based on morphological operations and contour simplification, we created a pipeline to extract the 3D mesh of any building based on its name, address, or geographic coordinates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google