ACPBench Hard: Unrestrained Reasoning about Action, Change, and Planning

要約

ACPBenchデータセットは、効率的な計画に必要な原子推論タスクを提供します。
データセットは、複雑な計画生成タスクを、可能な限り簡単な形式、ブールまたは複数の選択の質問で別々の原子推論タスクに蒸留することを目的としています。
ACPBenchの目的は、行動と変化に関する最も単純な形式の形式をテストすることですが、計画を課す場合、モデルには通常選択するオプションがないため、計画に必要な推論には、これらのタスクの自由な生成形式が決定されます。
そのため、モデルに答える必要がある自由回答形式の質問を使用して、ACPBenchの生成バージョンであるACPBench HeardをHard Hardに紹介します。
これらのタスクでうまく機能するモデルは、原則としてプランナーに統合されたり、ポリシーとして直接使用したりする可能性があります。
これらのタスクの複雑さと、各タスクの回答の正確性と現在の検証アルゴリズムを検証する複雑さについて説明します。
これらのバリデーターを装備して、タスク上のさまざまなモデルのパフォーマンスをテストし、これらのタスクのほとんどで、最大のモデルでさえパフォーマンスが依然として下位にあることがわかります。
私たちの実験では、これらのタスクのモデルが別のタスクよりも優れていないことを示しており、いくつかの例外を除いて、すべてのテストされた言語モデルが65％未満のスコアを獲得しており、現在のフロンティア言語モデルでさえ、計画を確実に推論する前に長い道のりがあることを示しています。
実際、いわゆる推論モデルでさえ、これらの推論タスクの解決に苦労しています。
ACPBenchハードコレクションは、次のリンクで入手できます：https：//ibm.github.io/acpbench

要約(オリジナル)

The ACPBench dataset provides atomic reasoning tasks required for efficient planning. The dataset is aimed at distilling the complex plan generation task into separate atomic reasoning tasks in their easiest possible form, boolean or multiple-choice questions, where the model has to choose the right answer from the provided options. While the aim of ACPBench is to test the simplest form of reasoning about action and change, when tasked with planning, a model does not typically have options to choose from and thus the reasoning required for planning dictates an open-ended, generative form for these tasks. To that end, we introduce ACPBench Hard, a generative version of ACPBench, with open-ended questions which the model needs to answer. Models that perform well on these tasks could in principle be integrated into a planner or be used directly as a policy. We discuss the complexity of these tasks as well as the complexity of validating the correctness of their answers and present validation algorithms for each task. Equipped with these validators, we test the performance of a variety of models on our tasks and find that for most of these tasks the performance of even the largest models is still subpar. Our experiments show that no model outperforms another in these tasks and with a few exceptions all tested language models score below 65%, indicating that even the current frontier language models have a long way to go before they can reliably reason about planning. In fact, even the so-called reasoning models struggle with solving these reasoning tasks. ACPBench Hard collection is available at the following link: https://ibm.github.io/ACPBench

arxiv情報

提供元, 利用サービス

arxiv.jp, Google