Semantic Consistent Language Gaussian Splatting for Point-Level Open-vocabulary Querying

要約

3Dガウスのスプラッティングでのオープンボキャブラリークエリは、特定のテキストクエリに基づいて3Dガウス表現内の意味的に関連する領域を特定することを目的としています。
Langsplatなどの以前の作業は、2Dレンダリング上のセグメンテーションマスクの形でこれらの領域を取得することにより、このタスクに対処しました。
最近では、OpenGaussianは3Dガウスのサブセットを直接選択するポイントレベルのクエリを導入しました。
この作業では、Langsplatのフレームワークに基づいたポイントレベルのクエリメソッドを提案します。
私たちのアプローチは、2つの重要な方法でフレームワークを改善します。（a）モデル2（SAM2）のセグメントからのマスクレットを活用して、言語ガウスを蒸留するためのセマンティックな一貫したグラウンドを確立します。
（b）最初に蒸留された地下真実を取得し、その後、個々のガウスを照会するためにグラウンドトゥルースを使用する新しい2段階のクエリアプローチを導入します。
3つのベンチマークデータセットでの実験的評価は、提案された方法が最先端のアプローチと比較してより良いパフォーマンスを達成することを示しています。
たとえば、この方法は、3D-OVSデータセットで+20.42のMIOU改善を実現します。

要約(オリジナル)

Open-vocabulary querying in 3D Gaussian Splatting aims to identify semantically relevant regions within a 3D Gaussian representation based on a given text query. Prior work, such as LangSplat, addressed this task by retrieving these regions in the form of segmentation masks on 2D renderings. More recently, OpenGaussian introduced point-level querying, which directly selects a subset of 3D Gaussians. In this work, we propose a point-level querying method that builds upon LangSplat’s framework. Our approach improves the framework in two key ways: (a) we leverage masklets from the Segment Anything Model 2 (SAM2) to establish semantic consistent ground-truth for distilling the language Gaussians; (b) we introduces a novel two-step querying approach that first retrieves the distilled ground-truth and subsequently uses the ground-truth to query the individual Gaussians. Experimental evaluations on three benchmark datasets demonstrate that the proposed method achieves better performance compared to state-of-the-art approaches. For instance, our method achieves an mIoU improvement of +20.42 on the 3D-OVS dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google