SuperGSeg: Open-Vocabulary 3D Segmentation with Structured Super-Gaussians

要約

3D ガウス スプラッティングは、効率的なトレーニングとリアルタイム レンダリングで最近注目を集めています。
バニラのガウス スプラッティング表現は主にビュー合成用に設計されていますが、より最近の研究では、シーンの理解と言語機能を使用してそれを拡張する方法が研究されています。
しかし、既存の方法ではシーンの詳細な理解が不足しており、複雑な構造をセグメント化して解釈する能力が制限されています。
この目的を達成するために、セグメンテーションと言語フィールドの蒸留を解きほぐすことで、一貫性のあるコンテキストを意識したシーン表現を促進する新しいアプローチである SuperGSeg を紹介します。
SuperGSeg は、まずニューラル ガウスを使用して、既製の 2D マスクを利用してマルチビュー画像からインスタンスおよび階層セグメンテーションの特徴を学習します。
これらの特徴は、スーパー ガウスと呼ばれる疎なセットを作成するために利用されます。
スーパー ガウスは、2D 言語の特徴を 3D 空間に抽出することを容易にします。
スーパーガウスを通じて、私たちの方法は、GPU メモリを極端に増加させることなく、高次元の言語特徴のレンダリングを可能にします。
広範な実験により、SuperGSeg はオープン語彙オブジェクト位置特定タスクとセマンティック セグメンテーション タスクの両方において以前の研究よりも優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

3D Gaussian Splatting has recently gained traction for its efficient training and real-time rendering. While the vanilla Gaussian Splatting representation is mainly designed for view synthesis, more recent works investigated how to extend it with scene understanding and language features. However, existing methods lack a detailed comprehension of scenes, limiting their ability to segment and interpret complex structures. To this end, We introduce SuperGSeg, a novel approach that fosters cohesive, context-aware scene representation by disentangling segmentation and language field distillation. SuperGSeg first employs neural Gaussians to learn instance and hierarchical segmentation features from multi-view images with the aid of off-the-shelf 2D masks. These features are then leveraged to create a sparse set of what we call Super-Gaussians. Super-Gaussians facilitate the distillation of 2D language features into 3D space. Through Super-Gaussians, our method enables high-dimensional language feature rendering without extreme increases in GPU memory. Extensive experiments demonstrate that SuperGSeg outperforms prior works on both open-vocabulary object localization and semantic segmentation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google