ViGiL3D: A Linguistically Diverse Dataset for 3D Visual Grounding

要約

3Dビジュアルグラウンディング（3DVG）は、自然言語テキストによって参照される3Dシーン内のエンティティをローカライズすることを含む。このようなモデルは、自然言語記述を使ってオブジェクトやパターンを検索する、具現化AIやシーン検索アプリケーションに有用である。最近の研究では、3DVGデータセットのLLMベースのスケーリングに焦点が当てられているが、これらのデータセットは、英語で指定され得る潜在的なプロンプトの全範囲を捉えていない。スケールアップを確実にし、有用で代表的なプロンプトのセットに対してテストするために、我々は3DVGプロンプトを言語学的に分析するフレームワークを提案し、多様な言語パターンのセットに対して視覚的グラウンディング手法を評価するための診断データセットであるVisual Grounding with Diverse Language in 3D (ViGiL3D)を導入する。既存のオープンボキャブラリーの3DVG手法を評価し、実世界での応用に向け、これらの手法が、より難易度の高い、分布外のプロンプトのターゲットを理解し、識別することにまだ熟達していないことを実証する。

要約(オリジナル)

3D visual grounding (3DVG) involves localizing entities in a 3D scene referred to by natural language text. Such models are useful for embodied AI and scene retrieval applications, which involve searching for objects or patterns using natural language descriptions. While recent works have focused on LLM-based scaling of 3DVG datasets, these datasets do not capture the full range of potential prompts which could be specified in the English language. To ensure that we are scaling up and testing against a useful and representative set of prompts, we propose a framework for linguistically analyzing 3DVG prompts and introduce Visual Grounding with Diverse Language in 3D (ViGiL3D), a diagnostic dataset for evaluating visual grounding methods against a diverse set of language patterns. We evaluate existing open-vocabulary 3DVG methods to demonstrate that these methods are not yet proficient in understanding and identifying the targets of more challenging, out-of-distribution prompts, toward real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL