SQA3D: Situated Question Answering in 3D Scenes

要約

具現化されたエージェントのシーン理解をベンチマークする新しいタスクを提案します: 3D シーンでの状況質問応答 (SQA3D)。
シーン コンテキスト (3D スキャンなど) が与えられると、SQA3D では、テスト対象のエージェントがテキストで説明されているように 3D シーンでの状況 (位置、向きなど) を最初に理解し、次に周囲の環境について推論し、その下の質問に答える必要があります。
シチュエーション。
ScanNet からの 650 のシーンに基づいて、6.8k の固有の状況を中心としたデータセットを、これらの状況に関する 20.4k の説明と 33.4k の多様な推論の質問とともに提供します。
これらの質問では、空間関係の理解から常識的な理解、ナビゲーション、マルチホップ推論に至るまで、インテリジェント エージェントの幅広い推論能力を調べます。
SQA3D は、現在のマルチモーダル、特に 3D 推論モデルに大きな課題を課しています。
私たちはさまざまな最先端のアプローチを評価し、最高のアプローチでも 47.20% の総合スコアしか達成できないことを発見しましたが、アマチュアの人間の参加者は 90.06% に達する可能性があります。
SQA3D は、より強力な状況理解と推論能力により、将来の身体化された AI 研究を促進できると信じています。

要約(オリジナル)

We propose a new task to benchmark scene understanding of embodied agents: Situated Question Answering in 3D Scenes (SQA3D). Given a scene context (e.g., 3D scan), SQA3D requires the tested agent to first understand its situation (position, orientation, etc.) in the 3D scene as described by text, then reason about its surrounding environment and answer a question under that situation. Based upon 650 scenes from ScanNet, we provide a dataset centered around 6.8k unique situations, along with 20.4k descriptions and 33.4k diverse reasoning questions for these situations. These questions examine a wide spectrum of reasoning capabilities for an intelligent agent, ranging from spatial relation comprehension to commonsense understanding, navigation, and multi-hop reasoning. SQA3D imposes a significant challenge to current multi-modal especially 3D reasoning models. We evaluate various state-of-the-art approaches and find that the best one only achieves an overall score of 47.20%, while amateur human participants can reach 90.06%. We believe SQA3D could facilitate future embodied AI research with stronger situation understanding and reasoning capability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google