VideoGameBench: Can Vision-Language Models complete popular video games?

要約

ビジョン言語モデル（VLMS）は、人間にとって挑戦的なコーディングと数学のベンチマークで強い結果を達成しましたが、人間に自然に生じるタスクを実行する能力は、知覚、空間的ナビゲーション、およびメモリ管理など、還元されています。
本物のビデオゲームは、生来の帰納的バイアスを活用することで人間が学習し、習得するために直感的であるように作られており、VLMのそのような機能を評価するための理想的なテストベッドになります。
この目的のために、VLMがリアルタイムで直接対話する1990年代の10の人気ビデオゲームで構成されるベンチマークであるVideoGameBenchを紹介します。
VideoGameBenchは、生の視覚入力のみにアクセスし、目標とコントロールの高レベルの説明でゲーム全体を完了するようにモデルに挑戦します。これは、ゲーム固有の足場と補助情報に依存する既存のセットアップからの大幅な逸脱です。
3つのゲームを秘密にして、目に見えない環境に一般化するソリューションを奨励しています。
私たちの実験は、フロンティアビジョン言語モデルが各ゲームの始まりを超えて進歩するのに苦労していることを示しています。
推論の遅延は、リアルタイム設定でフロンティアモデルの大きな制限であることがわかります。
したがって、LMの次のアクションを待っている間にゲームが一時停止する設定であるVideoGameBench Liteを紹介します。
最高のパフォーマンスモデルであるGemini 2.5 Proは、ビデオゲームベンチの0.48％とVideoGameBench Liteの1.6％のみを完了しています。
上記の人間のスキルをこのベンチマークに形式化することで、これらの研究の方向性の進歩が動機付けられることを願っています。

要約(オリジナル)

Vision-language models (VLMs) have achieved strong results on coding and math benchmarks that are challenging for humans, yet their ability to perform tasks that come naturally to humans–such as perception, spatial navigation, and memory management–remains understudied. Real video games are crafted to be intuitive for humans to learn and master by leveraging innate inductive biases, making them an ideal testbed for evaluating such capabilities in VLMs. To this end, we introduce VideoGameBench, a benchmark consisting of 10 popular video games from the 1990s that VLMs directly interact with in real-time. VideoGameBench challenges models to complete entire games with access to only raw visual inputs and a high-level description of objectives and controls, a significant departure from existing setups that rely on game-specific scaffolding and auxiliary information. We keep three of the games secret to encourage solutions that generalize to unseen environments. Our experiments show that frontier vision-language models struggle to progress beyond the beginning of each game. We find inference latency to be a major limitation of frontier models in the real-time setting; therefore, we introduce VideoGameBench Lite, a setting where the game pauses while waiting for the LM’s next action. The best performing model, Gemini 2.5 Pro, completes only 0.48% of VideoGameBench and 1.6% of VideoGameBench Lite. We hope that the formalization of the human skills mentioned above into this benchmark motivates progress in these research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google