BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games

要約

大規模な言語モデル（LLM）およびビジョン言語モデル（VLM）は広範な知識を持ち、有望な推論能力を示していますが、複雑で動的な環境でうまく機能するのに苦労しています。
実際のタスクでは、複雑な相互作用、高度な空間推論、長期計画、およびこれらの機能を包括的に評価するための効果的な方法論がない新しい戦略の継続的な調査を処理する必要があります。
このギャップに対処するために、多様な一連の挑戦的なゲームを通じてLLMとVLMのエージェント機能を評価するために設計された新しいベンチマークであるBalrogを紹介します。
当社のベンチマークには、数秒で非専門家の人間によって解決可能なタスク（ネタック学習環境など）から数年かかる可能性のある非常に挑戦的なタスクを含む、さまざまなレベルの難易度を持つさまざまな補強学習環境が組み込まれています。
パフォーマンスを測定し、いくつかの一般的なオープンソースとクローズドソースのLLMSおよびVLMの広範な評価を実施するために、きめ細かいメトリックを考案します。
私たちの調査結果は、現在のモデルがより簡単なゲームで部分的な成功を達成する一方で、より挑戦的なタスクと大幅に苦労していることを示しています。
特に、環境の視覚的表現が提供されるといくつかのモデルが悪化するため、ビジョンベースの意思決定において深刻な欠陥が観察されます。
Balrogをオープンでユーザーフレンドリーなベンチマークとしてリリースし、エージェントコミュニティの将来の研究開発を促進します。
Balrogai.comのコードとリーダーボード。

要約(オリジナル)

Large Language Models (LLMs) and Vision Language Models (VLMs) possess extensive knowledge and exhibit promising reasoning abilities, however, they still struggle to perform well in complex, dynamic environments. Real-world tasks require handling intricate interactions, advanced spatial reasoning, long-term planning, and continuous exploration of new strategies-areas in which we lack effective methodologies for comprehensively evaluating these capabilities. To address this gap, we introduce BALROG, a novel benchmark designed to assess the agentic capabilities of LLMs and VLMs through a diverse set of challenging games. Our benchmark incorporates a range of existing reinforcement learning environments with varying levels of difficulty, including tasks that are solvable by non-expert humans in seconds to extremely challenging ones that may take years to master (e.g., the NetHack Learning Environment). We devise fine-grained metrics to measure performance and conduct an extensive evaluation of several popular open-source and closed-source LLMs and VLMs. Our findings indicate that while current models achieve partial success in the easier games, they struggle significantly with more challenging tasks. Notably, we observe severe deficiencies in vision-based decision-making, as several models perform worse when visual representations of the environments are provided. We release BALROG as an open and user-friendly benchmark to facilitate future research and development in the agentic community. Code and Leaderboard at balrogai.com.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google