LLM-Grounder: Open-Vocabulary 3D Visual Grounding with Large Language Model as an Agent

要約

3D 視覚的グラウンディングは家庭用ロボットにとって重要なスキルであり、ロボットが環境に基づいて移動し、物体を操作し、質問に答えることができるようになります。
既存のアプローチは、多くの場合、広範なラベル付きデータに依存したり、複雑な言語クエリの処理に制限を示したりしますが、私たちは、新しいゼロショット、オープン語彙、大規模言語モデル (LLM) ベースの 3D ビジュアル グラウンディング パイプラインである LLM-Grounder を提案します。
LLM-Grounder は、LLM を利用して複雑な自然言語クエリをセマンティック構成要素に分解し、OpenScene や LERF などのビジュアル グラウンディング ツールを使用して 3D シーン内のオブジェクトを識別します。
次に LLM は、提案されたオブジェクト間の空間的および常識的な関係を評価して、最終的な接地決定を行います。
私たちの方法はラベル付きトレーニング データを必要とせず、新しい 3D シーンや任意のテキスト クエリに一般化できます。
ScanRefer ベンチマークで LLM-Grounder を評価し、最先端のゼロショット グラウンディング精度を実証します。
私たちの調査結果は、LLM が特に複雑な言語クエリのグラウンディング能力を大幅に向上させ、LLM-Grounder がロボット工学における 3D ビジョン言語タスクに対する効果的なアプローチとなることを示しています。
ビデオとインタラクティブなデモは、プロジェクト Web サイト https://chat-with-nerf.github.io/ でご覧いただけます。

要約(オリジナル)

3D visual grounding is a critical skill for household robots, enabling them to navigate, manipulate objects, and answer questions based on their environment. While existing approaches often rely on extensive labeled data or exhibit limitations in handling complex language queries, we propose LLM-Grounder, a novel zero-shot, open-vocabulary, Large Language Model (LLM)-based 3D visual grounding pipeline. LLM-Grounder utilizes an LLM to decompose complex natural language queries into semantic constituents and employs a visual grounding tool, such as OpenScene or LERF, to identify objects in a 3D scene. The LLM then evaluates the spatial and commonsense relations among the proposed objects to make a final grounding decision. Our method does not require any labeled training data and can generalize to novel 3D scenes and arbitrary text queries. We evaluate LLM-Grounder on the ScanRefer benchmark and demonstrate state-of-the-art zero-shot grounding accuracy. Our findings indicate that LLMs significantly improve the grounding capability, especially for complex language queries, making LLM-Grounder an effective approach for 3D vision-language tasks in robotics. Videos and interactive demos can be found on the project website https://chat-with-nerf.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google