GAGS: Granularity-Aware Feature Distillation for Language Gaussian Splatting

要約

空間内のオブジェクトの複雑なセマンティックプロパティを正確に認識している3Dオープンボキャブラリーシーンの理解は、近年大きな注目を集めています。
このホワイトペーパーでは、2Dクリップ機能を3Dガウススプラッティングに蒸留するフレームワークであるGAGSを提案し、任意の視点でのレンダリングのオープンボキャブラリークエリを可能にします。
3Dフィールドの2D機能を蒸留するという主な課題は、抽出された2D機能のマルチビューの不一致にあり、3D機能フィールドの不安定な監督を提供します。
Gagsは、この課題に2つの新しい戦略を備えています。
まず、GAGSはSAMのプロンプトポイント密度をカメラ距離に関連付けます。これにより、セグメンテーション結果のマルチビューの一貫性が大幅に向上します。
第二に、GAGSは微妙な係数をさらに解読して蒸留プロセスを導き、この粒度係数は、蒸留プロセスでマルチビューの一貫した2D機能を選択するために、監視されていない方法で学習できます。
2つのデータセットでの実験結果は、視覚的接地とセマンティックセグメンテーションにおけるギャグの大幅なパフォーマンスと安定性の改善を示しています。
コードと追加の結果は、https：//pz0826.github.io/gags-webpage/で入手できます。

要約(オリジナル)

3D open-vocabulary scene understanding, which accurately perceives complex semantic properties of objects in space, has gained significant attention in recent years. In this paper, we propose GAGS, a framework that distills 2D CLIP features into 3D Gaussian splatting, enabling open-vocabulary queries for renderings on arbitrary viewpoints. The main challenge of distilling 2D features for 3D fields lies in the multiview inconsistency of extracted 2D features, which provides unstable supervision for the 3D feature field. GAGS addresses this challenge with two novel strategies. First, GAGS associates the prompt point density of SAM with the camera distances, which significantly improves the multiview consistency of segmentation results. Second, GAGS further decodes a granularity factor to guide the distillation process and this granularity factor can be learned in a unsupervised manner to only select the multiview consistent 2D features in the distillation process. Experimental results on two datasets demonstrate significant performance and stability improvements of GAGS in visual grounding and semantic segmentation, with an inference speed 2$\times$ faster than baseline methods. The code and additional results are available at https://pz0826.github.io/GAGS-Webpage/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google