LUDVIG: Learning-free Uplifting of 2D Visual features to Gaussian Splatting scenes

要約

Dino、Sam、ClipなどのVision Foundationモデルの機能を3Dタスクに拡張する問題に対処します。
具体的には、2D画像機能を3Dシーンのガウススプラット表現に向上させる新しい方法を紹介します。
再構成損失の最小化に依存する従来のアプローチとは異なり、私たちの方法は、グラフ拡散メカニズムによって増強された、よりシンプルで効率的な特徴集計手法を採用しています。
グラフ拡散は、DinoV2によって誘導される3Dジオメトリとペアワイズの類似性を活用することにより、粗いセグメンテーションマスクなどの3D機能を改良します。
私たちのアプローチは、重要なスピードアップを提供しながら、複数のダウンストリームタスクの最先端に匹敵するパフォーマンスを達成します。
特に、SAMのような数百万の注釈付きセグメンテーションマスクで訓練されていないにもかかわらず、一般的なDINOV2機能を使用して競争力のあるセグメンテーション結果を取得します。
クリップ機能に適用されると、この方法は、オープンボキャブラリーオブジェクトのローカリゼーションタスクで強力なパフォーマンスを示し、アプローチの汎用性を強調しています。

要約(オリジナル)

We address the problem of extending the capabilities of vision foundation models such as DINO, SAM, and CLIP, to 3D tasks. Specifically, we introduce a novel method to uplift 2D image features into Gaussian Splatting representations of 3D scenes. Unlike traditional approaches that rely on minimizing a reconstruction loss, our method employs a simpler and more efficient feature aggregation technique, augmented by a graph diffusion mechanism. Graph diffusion refines 3D features, such as coarse segmentation masks, by leveraging 3D geometry and pairwise similarities induced by DINOv2. Our approach achieves performance comparable to the state of the art on multiple downstream tasks while delivering significant speed-ups. Notably, we obtain competitive segmentation results using generic DINOv2 features, despite DINOv2 not being trained on millions of annotated segmentation masks like SAM. When applied to CLIP features, our method demonstrates strong performance in open-vocabulary object localization tasks, highlighting the versatility of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google