SpatialLLM: A Compound 3D-Informed Design towards Spatially-Intelligent Large Multimodal Models

要約

人間は自然に3Dの空間的関係を理解し​​、さまざまな方向からの車両の衝突を予測するような複雑な推論を可能にします。
ただし、現在の大規模なマルチモーダルモデル（LMM）は、3D空間推論のこの能力の欠如です。
この制限は、3Dトレーニングデータの希少性と、現在のモデルのバイアスが2Dデータに向けて設計されています。
この論文では、3D情報データ、アーキテクチャ、トレーニングセットアップの影響を体系的に研究し、高度な3D空間推論能力を備えた大規模なマルチモーダルモデルであるSpatialllmを導入します。
データの制限に対処するために、2種類の3D情報トレーニングデータセットを開発します。（1）オブジェクトの3D位置と方向に焦点を当てた3D情報プロービングデータ、および（2）複雑な空間関係のための3D情報の会話データ。
特に、私たちは、実際の画像に3Dオリエンテーション関係を組み込んだVQAデータをキュレートする最初の人物です。
さらに、これら2種類のトレーニングデータをLMMSのアーキテクチャおよびトレーニングデザインと体系的に統合し、優れた3D推論機能を達成することを目的とした最適な設計のロードマップを提供します。
Spatialllmは、GPT-4Oのパフォーマンスを8.7％超えて、非常に能力のある3D情報の推論に向けて機械を進めています。
私たちの体系的な経験的設計と結果として生じる調査結果は、この方向における将来の研究のための貴重な洞察を提供します。

要約(オリジナル)

Humans naturally understand 3D spatial relationships, enabling complex reasoning like predicting collisions of vehicles from different directions. Current large multimodal models (LMMs), however, lack of this capability of 3D spatial reasoning. This limitation stems from the scarcity of 3D training data and the bias in current model designs toward 2D data. In this paper, we systematically study the impact of 3D-informed data, architecture, and training setups, introducing SpatialLLM, a large multi-modal model with advanced 3D spatial reasoning abilities. To address data limitations, we develop two types of 3D-informed training datasets: (1) 3D-informed probing data focused on object’s 3D location and orientation, and (2) 3D-informed conversation data for complex spatial relationships. Notably, we are the first to curate VQA data that incorporate 3D orientation relationships on real images. Furthermore, we systematically integrate these two types of training data with the architectural and training designs of LMMs, providing a roadmap for optimal design aimed at achieving superior 3D reasoning capabilities. Our SpatialLLM advances machines toward highly capable 3D-informed reasoning, surpassing GPT-4o performance by 8.7%. Our systematic empirical design and the resulting findings offer valuable insights for future research in this direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google