SpatialReasoner: Towards Explicit and Generalizable 3D Spatial Reasoning

要約

3D空間推論の最近の研究では、データ駆動型のアプローチを探求し、強化学習（RL）を使用した空間推論パフォーマンスを強化します。
ただし、これらの方法は通常、暗黙的な方法で空間的推論を実行し、取得した3D知識がトレーニングのどの段階でも目に見えない質問タイプに一般化するかどうかは不足しているままです。
この作業では、3Dの知覚、計算、推論の間で共有される明示的な3D表現を使用して、3D空間的推論に対処する新しい大型ビジョン言語モデル（LVLM）であるSpatialReasonerを紹介します。
明示的な3D表現は、高度な3D空間的推論をサポートし、LVLMSによって行われた事実上のエラーを研究できるようにする一貫したインターフェイスを提供します。
結果は、私たちの空間的合格者が、さまざまな空間推論ベンチマークでパフォーマンスを向上させ、新しい3D空間推論の質問を評価する際により良い一般化を達成することを示しています。
私たちの研究は、大規模な言語モデルの強力な推論能力を備えた、以前の視覚基盤モデルの3D解析機能を橋渡しし、3D空間的推論の新しい方向性を開きます。

要約(オリジナル)

Recent studies in 3D spatial reasoning explore data-driven approaches and achieve enhanced spatial reasoning performance with reinforcement learning (RL). However, these methods typically perform spatial reasoning in an implicit manner, and it remains underexplored whether the acquired 3D knowledge generalizes to unseen question types at any stage of the training. In this work we introduce SpatialReasoner, a novel large vision-language model (LVLM) that address 3D spatial reasoning with explicit 3D representations shared between stages — 3D perception, computation, and reasoning. Explicit 3D representations provide a coherent interface that supports advanced 3D spatial reasoning and enable us to study the factual errors made by LVLMs. Results show that our SpatialReasoner achieve improved performance on a variety of spatial reasoning benchmarks and generalizes better when evaluating on novel 3D spatial reasoning questions. Our study bridges the 3D parsing capabilities of prior visual foundation models with the powerful reasoning abilities of large language models, opening new directions for 3D spatial reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google