Unveiling the Mist over 3D Vision-Language Understanding: Object-centric Evaluation with Chain-of-Analysis

要約

既存の3D Vision-Language（3D-VL）ベンチマークは、3D-VLモデルの評価には不足しており、モデル機能と3D-VLタスクに関する厳密な洞察を曖昧にする「ミスト」を作成します。
この霧は、3つの重要な制限が原因で持続します。
第一に、接地タスクのあいまいな参照テキストのような欠陥のあるテストデータは、誤った信頼できないテスト結果をもたらす可能性があります。
第二に、質問応答（QA）ペアごとの単純な平均精度などの単純化されたメトリックは、言語のバリエーションに対する脆弱性のために真のモデル能力を明らかにすることはできません。
第三に、既存のベンチマークは接地タスクとQAタスクを分離し、QAは固体接地能力に基づいているという根本的な一貫性を無視します。
「ミスト」を発表するために、3D-VL接地およびQAタスクのベンチマークであるBeacon3Dを提案し、3D-VL理解の評価における視点シフトを提供します。
beacon3d機能（i）正確で自然な言語を備えた高品質のテストデータ、（ii）堅牢性を確保するためのオブジェクトごとの複数のテストを使用したオブジェクト中心の評価、および（iii）接地とQA全体の言語の堅牢性とモデルのパフォーマンスの一貫性に対処するための新しい分析パラダイム。
Beacon3Dでの最先端の3D-VLモデルの評価は、（i）オブジェクト中心の評価が真のモデルパフォーマンスと特にQAの一般化を誘発することを明らかにしています。
（ii）接地qaのコヒーレンスは、現在の3D-VLモデルでは脆弱なままであり、（iii）一般的な実践としての大きな言語モデル（LLMS）を3D-VLモデルに組み込むと、接地能力を妨げ、QA能力をまだ高めていません。
Beacon3Dと当社の包括的な分析が、3D-VLコミュニティに忠実な発展に役立つことを願っています。

要約(オリジナル)

Existing 3D vision-language (3D-VL) benchmarks fall short in evaluating 3D-VL models, creating a ‘mist’ that obscures rigorous insights into model capabilities and 3D-VL tasks. This mist persists due to three key limitations. First, flawed test data, like ambiguous referential text in the grounding task, can yield incorrect and unreliable test results. Second, oversimplified metrics such as simply averaging accuracy per question answering (QA) pair, cannot reveal true model capability due to their vulnerability to language variations. Third, existing benchmarks isolate the grounding and QA tasks, disregarding the underlying coherence that QA should be based on solid grounding capabilities. To unveil the ‘mist’, we propose Beacon3D, a benchmark for 3D-VL grounding and QA tasks, delivering a perspective shift in the evaluation of 3D-VL understanding. Beacon3D features (i) high-quality test data with precise and natural language, (ii) object-centric evaluation with multiple tests per object to ensure robustness, and (iii) a novel chain-of-analysis paradigm to address language robustness and model performance coherence across grounding and QA. Our evaluation of state-of-the-art 3D-VL models on Beacon3D reveals that (i) object-centric evaluation elicits true model performance and particularly weak generalization in QA; (ii) grounding-QA coherence remains fragile in current 3D-VL models, and (iii) incorporating large language models (LLMs) to 3D-VL models, though as a prevalent practice, hinders grounding capabilities and has yet to elevate QA capabilities. We hope Beacon3D and our comprehensive analysis could benefit the 3D-VL community towards faithful developments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google