3D-LLM: Injecting the 3D World into Large Language Models

要約

大規模言語モデル (LLM) とビジョン言語モデル (VLM) は、常識的推論などの複数のタスクに優れていることが証明されています。
これらのモデルは強力ではありますが、空間関係、アフォーダンス、物理学、レイアウトなどのより豊富な概念を含む 3D 物理世界に基づいていません。
この研究では、3D 世界を大規模な言語モデルに注入し、まったく新しい 3D-LLM ファミリーを導入することを提案します。
具体的には、3D-LLM は 3D 点群とその特徴を入力として受け取り、キャプション、高密度キャプション、3D 質問応答、タスク分解、3D グラウンディング、3D 支援ダイアログ、ナビゲーションなどを含む、さまざまな 3D 関連タスクを実行できます。
私たちが設計した 3 種類のプロンプト メカニズムを使用することで、これらのタスクをカバーする 300,000 を超える 3D 言語データを収集できます。
3D-LLM を効率的にトレーニングするために、レンダリングされたマルチビュー画像から 3D 特徴を取得する 3D 特徴抽出器を最初に利用します。
次に、2D VLM をバックボーンとして使用して 3D-LLM をトレーニングします。
3D ローカリゼーション メカニズムを導入することにより、3D-LLM は 3D 空間情報をより適切にキャプチャできるようになります。
ScanQA の実験では、私たちのモデルが最先端のベースラインを大幅に上回っていることが示されています (たとえば、BLEU-1 スコアは最先端のスコアを 9% 上回っています)。
さらに、3D キャプション、タスク構成、3D 支援対話のための保持データセットの実験では、モデルが 2D VLM よりも優れていることが示されています。
定性的な例では、このモデルが既存の LLM および VLM の範囲を超えて、より多くのタスクを実行できることも示しています。
プロジェクト ページ: : https://vis-www.cs.umass.edu/3dllm/。

要約(オリジナル)

Large language models (LLMs) and Vision-Language Models (VLMs) have been proven to excel at multiple tasks, such as commonsense reasoning. Powerful as these models can be, they are not grounded in the 3D physical world, which involves richer concepts such as spatial relationships, affordances, physics, layout, and so on. In this work, we propose to inject the 3D world into large language models and introduce a whole new family of 3D-LLMs. Specifically, 3D-LLMs can take 3D point clouds and their features as input and perform a diverse set of 3D-related tasks, including captioning, dense captioning, 3D question answering, task decomposition, 3D grounding, 3D-assisted dialog, navigation, and so on. Using three types of prompting mechanisms that we design, we are able to collect over 300k 3D-language data covering these tasks. To efficiently train 3D-LLMs, we first utilize a 3D feature extractor that obtains 3D features from rendered multi- view images. Then, we use 2D VLMs as our backbones to train our 3D-LLMs. By introducing a 3D localization mechanism, 3D-LLMs can better capture 3D spatial information. Experiments on ScanQA show that our model outperforms state-of-the-art baselines by a large margin (e.g., the BLEU-1 score surpasses state-of-the-art score by 9%). Furthermore, experiments on our held-in datasets for 3D captioning, task composition, and 3D-assisted dialogue show that our model outperforms 2D VLMs. Qualitative examples also show that our model could perform more tasks beyond the scope of existing LLMs and VLMs. Project Page: : https://vis-www.cs.umass.edu/3dllm/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google