ECBench: Can Multi-modal Foundation Models Understand the Egocentric World? A Holistic Embodied Cognition Benchmark

要約

大規模ビジョン言語モデル (LVLM) によるロボットの一般化の強化がますます明らかになってきています。
したがって、自己中心的なビデオに基づいた LVLM の具現化された認知能力は非常に興味深いものです。
しかし、具体化されたビデオ質問応答用の現在のデータセットには、包括的かつ体系的な評価フレームワークが不足しています。
ロボットの自己認識、動的情景認識、幻覚などの身体化された重大な認知問題はほとんど扱われていません。
これらの課題に取り組むために、LVLM の身体化された認知能力を体系的に評価するように設計された高品質のベンチマークである ECBench を提案します。
ECBench は、多様なシーンのビデオ ソース、オープンで多様な質問形式、および 30 の身体的認知の側面を備えています。
品質、バランス、高い視覚的依存性を確保するために、ECBench はクラスに依存しない細心の注意を払った人間による注釈と複数ラウンドの質問スクリーニング戦略を使用します。
さらに、指標の公平性・合理性を担保する総合評価システムECEvalを導入しています。
ECBench を利用して、独自のオープンソース、タスク固有の LVLM の広範な評価を実施します。
ECBench は、LVLM の身体化された認知機能を向上させる上で極めて重要であり、身体化されたエージェントのための信頼できるコア モデルを開発するための強固な基盤を築きます。
すべてのデータとコードは https://github.com/Rh-Dang/ECBench で入手できます。

要約(オリジナル)

The enhancement of generalization in robots by large vision-language models (LVLMs) is increasingly evident. Therefore, the embodied cognitive abilities of LVLMs based on egocentric videos are of great interest. However, current datasets for embodied video question answering lack comprehensive and systematic evaluation frameworks. Critical embodied cognitive issues, such as robotic self-cognition, dynamic scene perception, and hallucination, are rarely addressed. To tackle these challenges, we propose ECBench, a high-quality benchmark designed to systematically evaluate the embodied cognitive abilities of LVLMs. ECBench features a diverse range of scene video sources, open and varied question formats, and 30 dimensions of embodied cognition. To ensure quality, balance, and high visual dependence, ECBench uses class-independent meticulous human annotation and multi-round question screening strategies. Additionally, we introduce ECEval, a comprehensive evaluation system that ensures the fairness and rationality of the indicators. Utilizing ECBench, we conduct extensive evaluations of proprietary, open-source, and task-specific LVLMs. ECBench is pivotal in advancing the embodied cognitive capabilities of LVLMs, laying a solid foundation for developing reliable core models for embodied agents. All data and code are available at https://github.com/Rh-Dang/ECBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google