SpatialBot: Precise Spatial Understanding with Vision Language Models

要約

ビジョン言語モデル (VLM) は、2D 画像理解において目覚ましいパフォーマンスを達成していますが、身体化 AI の基礎である空間理解には依然として苦労しています。
この論文では、RGB と深度画像の両方をフィードすることで空間をより良く理解するための SpatialBot を提案します。
さらに、深度を理解するために VLM をトレーニングするためのマルチレベルの深度関連の質問を含む SpatialQA データセットを構築しました。
最後に、さまざまなレベルでの空間理解における VLM の能力を包括的に評価する SpatialBench を紹介します。
空間理解ベンチマーク、一般的な VLM ベンチマーク、および組み込み AI タスクに関する広範な実験により、SpatialQA でトレーニングされた SpatialBot の顕著な改善が実証されました。
モデル、コード、データは https://github.com/BAAI-DCAI/SpatialBot で入手できます。

要約(オリジナル)

Vision Language Models (VLMs) have achieved impressive performance in 2D image understanding, however they are still struggling with spatial understanding which is the foundation of Embodied AI. In this paper, we propose SpatialBot for better spatial understanding by feeding both RGB and depth images. Additionally, we have constructed the SpatialQA dataset, which involves multi-level depth-related questions to train VLMs for depth understanding. Finally, we present SpatialBench to comprehensively evaluate VLMs’ capabilities in spatial understanding at different levels. Extensive experiments on our spatial-understanding benchmark, general VLM benchmarks and Embodied AI tasks, demonstrate the remarkable improvements of SpatialBot trained on SpatialQA. The model, code and data are available at https://github.com/BAAI-DCAI/SpatialBot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google