MANGO: A Benchmark for Evaluating Mapping and Navigation Abilities of Large Language Models

要約

ChatGPT や GPT-4 などの大規模言語モデルは、最近、さまざまな自然言語処理タスクで驚くべきパフォーマンスを達成しました。
このペーパーでは、テキストベースのマッピングとナビゲーションを実行する機能を評価するためのベンチマークである MANGO を提案します。
私たちのベンチマークには、一連のテキストゲームから取られた 53 の迷路が含まれています。各迷路は、すべての場所を訪問するウォークスルーとペアになっていますが、すべての可能なパスをカバーしているわけではありません。
このタスクは質問応答です。迷路ごとに、大規模な言語モデルがウォークスルーを読み取り、「家の西から屋根裏部屋にどうやって行くべきですか?」などの何百もの地図作成やナビゲーションの質問に答えます。
そして、「セラーから北と東に行くとどこですか？」
これらの質問は人間にとって簡単ですが、現時点で最高の言語モデルである GPT-4 でさえ、これらの質問に答えるにはあまりうまくいかないことがわかっています。
さらに、私たちの実験は、強力なマッピングおよびナビゲーション機能が、テキストゲームのプレイなど、関連する下流タスクを実行する際に大規模な言語モデルに利益をもたらすことを示唆しています。
私たちの MANGO ベンチマークは、言語モデルのマッピングおよびナビゲーション機能を向上させる方法に関する将来の研究を促進します。
リーダーボード、データ、コード、評価プログラムは https://mango.ttic.edu および https://github.com/oaklight/mango/ でホストされています。

要約(オリジナル)

Large language models such as ChatGPT and GPT-4 have recently achieved astonishing performance on a variety of natural language processing tasks. In this paper, we propose MANGO, a benchmark to evaluate their capabilities to perform text-based mapping and navigation. Our benchmark includes 53 mazes taken from a suite of textgames: each maze is paired with a walkthrough that visits every location but does not cover all possible paths. The task is question-answering: for each maze, a large language model reads the walkthrough and answers hundreds of mapping and navigation questions such as ‘How should you go to Attic from West of House?’ and ‘Where are we if we go north and east from Cellar?’. Although these questions are easy to humans, it turns out that even GPT-4, the best-to-date language model, performs poorly at answering them. Further, our experiments suggest that a strong mapping and navigation ability would benefit large language models in performing relevant downstream tasks, such as playing textgames. Our MANGO benchmark will facilitate future research on methods that improve the mapping and navigation capabilities of language models. We host our leaderboard, data, code, and evaluation program at https://mango.ttic.edu and https://github.com/oaklight/mango/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google