Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs

要約

マルチビューの理解、効果的なナビゲーション、操作、3Dシーンの理解のために多様な視点で視覚情報を調整する能力は、具体化されたエージェントとして使用されるマルチモーダルの大手言語モデル（MLLM）の基本的な課題です。
最近のMLLMは、高レベルの推論と計画の印象的な進歩を示していますが、マルチビューの幾何学的な一貫性とクロスビューの対応に直面したとき、それらは頻繁に不足しています。
マルチビューシーンの推論におけるMLLMの課題を包括的に評価するために、90の多様な現実世界のシーンで2,100人以上の人間が慎重に注釈されたマルチビューの質問回答ペアのベンチマークであるAll-Anglesベンチを提案します。
6つのタスク（カウント、属性識別、相対距離、相対方向、オブジェクト操作、およびカメラポーズ推定）は、モデルの幾何学的対応と、ビュー全体で一貫して情報を調整する能力をテストします。
私たちの広範な実験、Gemini-2.0-Flash、Claude-3.7-Sonnetを含む27の代表MLLMのベンチマーク、および人間の評価者に対するGPT-4oは、実質的なパフォーマンスギャップを明らかにし、現在のMLLMが人間レベルの能力とはほど遠いことを示しています。
詳細な分析を通じて、MLLMは特に2つの側面でパフォーマンスが低いことを示します。（1）部分的に閉塞されたビューのクロスビュー対応と（2）粗いカメラのポーズの確立。
これらの調査結果は、より強力なマルチビューの認識を埋め込むドメイン固有の改良またはモジュールの必要性を強調しています。
私たちのオールアングルベンチは貴重な洞察を提供し、MLLMと人間レベルのマルチビューの理解のギャップを埋めることに貢献していると考えています。
プロジェクトとベンチマークは、https://danielchyeh.github.io/all-angles-bench/で公開されています。

要約(オリジナル)

Multi-view understanding, the ability to reconcile visual information across diverse viewpoints for effective navigation, manipulation, and 3D scene comprehension, is a fundamental challenge in Multi-Modal Large Language Models (MLLMs) to be used as embodied agents. While recent MLLMs have shown impressive advances in high-level reasoning and planning, they frequently fall short when confronted with multi-view geometric consistency and cross-view correspondence. To comprehensively evaluate the challenges of MLLMs in multi-view scene reasoning, we propose All-Angles Bench, a benchmark of over 2,100 human carefully annotated multi-view question-answer pairs across 90 diverse real-world scenes. Our six tasks (counting, attribute identification, relative distance, relative direction, object manipulation, and camera pose estimation) specifically test model’s geometric correspondence and the capacity to align information consistently across views. Our extensive experiments, benchmark on 27 representative MLLMs including Gemini-2.0-Flash, Claude-3.7-Sonnet, and GPT-4o against human evaluators reveals a substantial performance gap, indicating that current MLLMs remain far from human-level proficiency. Through in-depth analysis, we show that MLLMs are particularly underperforming under two aspects: (1) cross-view correspondence for partially occluded views and (2) establishing the coarse camera poses. These findings highlight the necessity of domain-specific refinements or modules that embed stronger multi-view awareness. We believe that our All-Angles Bench offers valuable insights and contribute to bridging the gap between MLLMs and human-level multi-view understanding. The project and benchmark are publicly available at https://danielchyeh.github.io/All-Angles-Bench/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google