GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models

要約

近年、2次元視覚言語モデル(VLM)は、画像とテキストの理解タスクにおいて大きな進歩を遂げている。しかし、具現化された知能にとって重要な3D空間理解におけるVLMの性能はまだ限定的である。最近の進歩では、3D点群やマルチビュー画像を入力として活用し、有望な結果を得ている。しかし、我々は、人間の知覚にヒントを得た、純粋に視覚に基づくソリューションを探求することを提案する。本論文では、3D空間知識におけるVLMの限界を経験的に調査し、VLMの主な欠点は、シーンと個々のフレーム間のグローバル-ローカル対応の欠如にあることを明らかにする。これに対処するため、我々はGPT4Sceneを導入する。GPT4Sceneは、VLMの訓練と推論における新しい視覚的プロンプトパラダイムであり、グローバル-ローカル関係の構築を支援し、屋内シーンの3D空間理解を大幅に改善する。具体的には、GPT4Sceneはビデオから3D鳥瞰図（BEV）画像を構築し、フレームとBEV画像の両方にわたって一貫したオブジェクトIDをマークする。次に、このモデルは、連結されたBEV画像とビデオフレームにマーカーを入力します。ゼロショット評価では、GPT4SceneはGPT-4oのようなクローズドソースのVLMよりも性能が向上しています。さらに、オープンソースのVLMを微調整するために、165Kのテキストアノテーションからなる処理済みビデオデータセットを用意し、すべての3D理解タスクで最先端の性能を達成した。驚くべきことに、GPT4Sceneパラダイムで学習した後、VLMは、視覚的プロンプトやBEV画像が明示的な対応としてなくても、推論中に一貫して向上した。提案したパラダイムは、VLMが3Dシーンを理解する本質的な能力を発達させることを助け、3Dシーン理解のために事前訓練されたVLMを拡張する非侵襲的アプローチへの道を開くことを示している。

要約(オリジナル)

In recent years, 2D Vision-Language Models (VLMs) have made significant strides in image-text understanding tasks. However, their performance in 3D spatial comprehension, which is critical for embodied intelligence, remains limited. Recent advances have leveraged 3D point clouds and multi-view images as inputs, yielding promising results. However, we propose exploring a purely vision-based solution inspired by human perception, which merely relies on visual cues for 3D spatial understanding. This paper empirically investigates the limitations of VLMs in 3D spatial knowledge, revealing that their primary shortcoming lies in the lack of global-local correspondence between the scene and individual frames. To address this, we introduce GPT4Scene, a novel visual prompting paradigm in VLM training and inference that helps build the global-local relationship, significantly improving the 3D spatial understanding of indoor scenes. Specifically, GPT4Scene constructs a 3D Bird’s Eye View (BEV) image from the video and marks consistent object IDs across both frames and the BEV image. The model then inputs the concatenated BEV image and video frames with markers. In zero-shot evaluations, GPT4Scene improves performance over closed-source VLMs like GPT-4o. Additionally, we prepare a processed video dataset consisting of 165K text annotation to fine-tune open-source VLMs, achieving state-of-the-art performance on all 3D understanding tasks. Surprisingly, after training with the GPT4Scene paradigm, VLMs consistently improve during inference, even without visual prompting and BEV image as explicit correspondence. It demonstrates that the proposed paradigm helps VLMs develop an intrinsic ability to understand 3D scenes, which paves the way for a noninvasive approach to extending pre-trained VLMs for 3D scene understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL