BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games

要約

大規模言語モデル (LLM) とビジョン言語モデル (VLM) は広範な知識を有し、有望な推論能力を示します。
ただし、複雑で動的な環境では依然として適切なパフォーマンスを発揮するのに苦労しています。
現実世界のタスクでは、複雑なインタラクションの処理、高度な空間推論、長期計画、新しい戦略分野の継続的な探索が必要ですが、これらの機能を包括的に評価するための効果的な方法論が不足しています。
このギャップに対処するために、さまざまな挑戦的なゲームを通じて LLM と VLM のエージェント機能を評価するように設計された新しいベンチマークである BALROG を紹介します。
私たちのベンチマークには、専門家でなくても数秒で解決できるタスクから、習得するのに何年もかかる可能性がある非常に難しいタスク (NetHack 学習環境など) まで、さまざまなレベルの既存の強化学習環境が組み込まれています。
私たちは、パフォーマンスを測定するためのきめ細かいメトリクスを考案し、いくつかの人気のあるオープンソースおよびクローズドソースの LLM および VLM の広範な評価を実施します。
私たちの調査結果は、現在のモデルが簡単なゲームでは部分的に成功するものの、より困難なタスクでは大幅に苦戦することを示しています。
特に、環境の視覚的表現が提供されるとモデルのパフォーマンスが低下するため、ビジョンに基づく意思決定に重大な欠陥があることが観察されています。
私たちは、エージェント コミュニティでの将来の研究開発を促進するために、オープンでユーザーフレンドリーなベンチマークとして BALROG をリリースします。

要約(オリジナル)

Large Language Models (LLMs) and Vision Language Models (VLMs) possess extensive knowledge and exhibit promising reasoning abilities; however, they still struggle to perform well in complex, dynamic environments. Real-world tasks require handling intricate interactions, advanced spatial reasoning, long-term planning, and continuous exploration of new strategies-areas in which we lack effective methodologies for comprehensively evaluating these capabilities. To address this gap, we introduce BALROG, a novel benchmark designed to assess the agentic capabilities of LLMs and VLMs through a diverse set of challenging games. Our benchmark incorporates a range of existing reinforcement learning environments with varying levels of difficulty, including tasks that are solvable by non-expert humans in seconds to extremely challenging ones that may take years to master (e.g., the NetHack Learning Environment). We devise fine-grained metrics to measure performance and conduct an extensive evaluation of several popular open-source and closed-source LLMs and VLMs. Our findings indicate that while current models achieve partial success in the easier games, they struggle significantly with more challenging tasks. Notably, we observe severe deficiencies in vision-based decision-making, as models perform worse when visual representations of the environments are provided. We release BALROG as an open and user-friendly benchmark to facilitate future research and development in the agentic community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google