Baba Is AI: Break the Rules to Beat the Benchmark

要約

人間は、既存のルールや手順に従うだけでなく、創造性を飛躍的に発揮してそれらのルールや目的を再定義することによって問題を解決します。
これらの能力を調査するために、私たちは Baba Is You ゲームに基づいた新しいベンチマークを開発しました。このベンチマークでは、エージェントが環境内のオブジェクトと、単語が書かれた可動タイルで表されるルールの両方を操作して、指定された目標を達成してゲームに勝利します。
私たちは 3 つの最先端のマルチモーダル大規模言語モデル (OpenAI GPT-4o、Google Gemini-1.5-Pro、および Gemini-1.5-Flash) をテストしましたが、ゲームのルールを一般化する必要がある場合、それらは劇的に失敗することがわかりました。
操作して組み合わせる必要があります。

要約(オリジナル)

Humans solve problems by following existing rules and procedures, and also by leaps of creativity to redefine those rules and objectives. To probe these abilities, we developed a new benchmark based on the game Baba Is You where an agent manipulates both objects in the environment and rules, represented by movable tiles with words written on them, to reach a specified goal and win the game. We test three state-of-the-art multi-modal large language models (OpenAI GPT-4o, Google Gemini-1.5-Pro and Gemini-1.5-Flash) and find that they fail dramatically when generalization requires that the rules of the game must be manipulated and combined.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google