PuzzleBench: Can LLMs Solve Challenging First-Order Combinatorial Reasoning Problems?

要約

最近の研究では、大規模言語モデル (LLM) の中で最大のものは、自然言語で表現された多くの単純な推論タスクを、まったくまたはあまり監視なしで解決できることが示されています。
しかし、グラフの色付け、ナップザック、暗号算など、難しい一次の組み合わせ推論の問題も解決できるでしょうか?
この質問に答えるために、PuzzleBench を紹介します。PuzzleBench は、こ​​のような難解な問題 31 個と、各問題の解決されたいくつかのインスタンスのデータセットです。
これらの問題はすべて一次問題です。つまり、さまざまなサイズの問題インスタンスでインスタンス化することができ、それらのほとんどは NP 困難であり、解決策に到達するまでにいくつかの推論ステップが必要です。
まず、LLM は、シンボリック ソルバーを利用した場合でも、データセット上ではかなりパフォーマンスが悪いことがわかります。
これに応えて、私たちは LLM をシンボリック ソルバーとプログラム インタプリタの両方と組み合わせ、解決された例からのフィードバックを組み合わせて、大幅なパフォーマンス向上を達成する新しいアプローチである Puzzle-LM を提案します。
私たちの広範な実験と分析は、現在の LLM の推論能力と限界についての新たな洞察を提供します。

要約(オリジナル)

Recent works show that the largest of the large language models (LLMs) can solve many simple reasoning tasks expressed in natural language, without any/much supervision. But, can they also solve challenging first-order combinatorial reasoning problems, such as graph coloring, knapsack and cryptarithmetic? To answer this question, we present PuzzleBench, a dataset of 31 such challenging problems along with a few solved instances for each problem. These problems are all first order, i.e., they can be instantiated with problem instances of varying sizes, and most of them are NP-hard, requiring several reasoning steps to reach the solution. We first observe that LLMs, even when aided by symbolic solvers, perform rather poorly on our dataset. In response, we propose a new approach, Puzzle-LM, which combines LLMs with both symbolic solvers and program interpreters, along with feedback from solved examples, to achieve huge performance gains. Our extensive experimentation and analyses offer new insights into the reasoning abilities and limitations of present-day LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google