SeeGround: See and Ground for Zero-Shot Open-Vocabulary 3D Visual Grounding

要約

3D ビジュアル グラウンディング (3DVG) は、テキストの説明に基づいて 3D シーン内のオブジェクトの位置を特定することを目的としています。これは、拡張現実やロボット工学などのアプリケーションに不可欠です。
従来の 3DVG アプローチは、注釈付き 3D データセットと事前定義されたオブジェクト カテゴリに依存しており、スケーラビリティと適応性が制限されていました。
これらの制限を克服するために、大規模な 2D データでトレーニングされた 2D 視覚言語モデル (VLM) を活用するゼロショット 3DVG フレームワークである SeeGround を導入します。
私たちは、クエリに合わせてレンダリングされたイメージと空間的に強化されたテキストの説明のハイブリッドとして 3D シーンを表現し、3D データと 2D-VLM 入力形式の間のギャップを埋めることを提案します。
私たちは 2 つのモジュールを提案します。1 つはクエリ関連の画像レンダリングのための視点を動的に選択する Perspective Adaptation モジュール、もう 1 つは 2D 画像と 3D 空間記述を統合してオブジェクトの位置特定を強化する Fusion Alignment モジュールです。
ScanRefer と Nr3D に関する広範な実験により、私たちのアプローチが既存のゼロショット手法よりも大幅に優れていることが実証されました。
特に、我々は弱く監視された手法を上回り、一部の完全に監視された手法に匹敵し、以前の SOTA を ScanRefer で 7.7%、Nr3D で 7.1% 上回っており、その有効性を示しています。

要約(オリジナル)

3D Visual Grounding (3DVG) aims to locate objects in 3D scenes based on textual descriptions, which is essential for applications like augmented reality and robotics. Traditional 3DVG approaches rely on annotated 3D datasets and predefined object categories, limiting scalability and adaptability. To overcome these limitations, we introduce SeeGround, a zero-shot 3DVG framework leveraging 2D Vision-Language Models (VLMs) trained on large-scale 2D data. We propose to represent 3D scenes as a hybrid of query-aligned rendered images and spatially enriched text descriptions, bridging the gap between 3D data and 2D-VLMs input formats. We propose two modules: the Perspective Adaptation Module, which dynamically selects viewpoints for query-relevant image rendering, and the Fusion Alignment Module, which integrates 2D images with 3D spatial descriptions to enhance object localization. Extensive experiments on ScanRefer and Nr3D demonstrate that our approach outperforms existing zero-shot methods by large margins. Notably, we exceed weakly supervised methods and rival some fully supervised ones, outperforming previous SOTA by 7.7% on ScanRefer and 7.1% on Nr3D, showcasing its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google