SAT: Spatial Aptitude Training for Multimodal Language Models

要約

空間認識は知能の基本的な要素です。
多くの研究は、大規模なマルチモーダル言語モデル (MLM) が空間について推論するのに苦労していることを強調していますが、それらはオブジェクトの相対位置の分類など、静的な空間推論についてのみテストしています。
一方、現実世界の展開には、視点の取得や自己中心的な行動認識などの動的な機能が必要です。
空間知能を向上させるためのロードマップとして、SAT (空間適性トレーニング) を導入します。これは、物体の相対位置に関する静的な質問を超えて、より動的なタスクにまで及びます。
SAT には、トレーニング セットとテスト セット全体にわたる 22,000 の合成シーンに対する 218,000 の質問と回答のペアが含まれています。
フォトリアリスティックな物理エンジンを使用して生成されたデータセットは、任意にスケール変更でき、新しいアクション、シーン、3D アセットに簡単に拡張できます。
静的な質問では比較的うまく機能する MLM であっても、動的な空間的な質問に正確に答えるのは難しいことがわかりました。
さらに、SAT 命令チューニング データは、SAT での動的空間推論だけでなく、既存の実像空間ベンチマークでのゼロショット パフォーマンスも向上させることを示します。CVBench では $23\%$、より難しい BLINK ベンチマークでは $8\%$、
VSR は $18\%$ です。
SAT で命令を調整すると、当社の 13B モデルは空間推論において GPT4-V や Gemini-3-1.0 などのより大きな独自の MLM と一致します。
私たちのデータ/コードは http://arijitray1993.github.io/SAT/ で入手できます。

要約(オリジナル)

Spatial perception is a fundamental component of intelligence. While many studies highlight that large multimodal language models (MLMs) struggle to reason about space, they only test for static spatial reasoning, such as categorizing the relative positions of objects. Meanwhile, real-world deployment requires dynamic capabilities like perspective-taking and egocentric action recognition. As a roadmap to improving spatial intelligence, we introduce SAT, Spatial Aptitude Training, which goes beyond static relative object position questions to the more dynamic tasks. SAT contains 218K question-answer pairs for 22K synthetic scenes across a training and testing set. Generated using a photo-realistic physics engine, our dataset can be arbitrarily scaled and easily extended to new actions, scenes, and 3D assets. We find that even MLMs that perform relatively well on static questions struggle to accurately answer dynamic spatial questions. Further, we show that SAT instruction-tuning data improves not only dynamic spatial reasoning on SAT, but also zero-shot performance on existing real-image spatial benchmarks: $23\%$ on CVBench, $8\%$ on the harder BLINK benchmark, and $18\%$ on VSR. When instruction-tuned on SAT, our 13B model matches larger proprietary MLMs like GPT4-V and Gemini-3-1.0 in spatial reasoning. Our data/code is available at http://arijitray1993.github.io/SAT/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google