MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

要約

マルチモーダル大手言語モデル（MLLM）は2D視覚的理解に優れていますが、3Dスペースについて推論する能力が限られたままです。
この作業では、オープンセットの注釈を備えた大規模な高品質の3Dシーンデータを活用して、1）新しい監視された微調整データセットと2）屋内シーンに焦点を当てた新しい評価ベンチマークを紹介します。
Cubify Anything VQA（CA-VQA）データは、空間関係の予測、メトリックサイズと距離推定、3D接地など、多様な空間タスクをカバーしています。
CA-VQAにより、私たち自身を含む3D空間理解ベンチマークで最先端のパフォーマンスを達成する強力なジェネラリストMLLMであるMM空間をトレーニングできることを示しています。
メトリックの深さとマルチビュー入力（CA-VQAで提供）を組み込むことで、3Dの理解をさらに改善することができることを示し、データだけでモデルが専用の単眼深度推定モデルに匹敵する深さ認識機能を実現できることを示しています。
SFTデータセットとベンチマークを公開します。

要約(オリジナル)

Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models. We will publish our SFT dataset and benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google