Assessing Logical Puzzle Solving in Large Language Models: Insights from a Minesweeper Case Study

要約

大規模言語モデル (LLM) は、言語理解において顕著な習熟度を示しており、タスク固有の微調整や迅速なエンジニアリングを通じて、現実世界のさまざまなタスクにうまく適用されています。
これらの進歩にもかかわらず、LLM が基本的に推論と計画を行う能力があるのか​​、それとも主にトレーニング データからの情報の呼び出しと合成に依存しているのかは未解決の問題のままです。
私たちの研究では、LLM にはなじみがなく、トレーニング データセットにはない形式で特別に設計された新しいタスク、マインスイーパを導入します。
このタスクでは、隣接する開いたセルによって提供される数値的な手がかりに基づいて地雷の位置を特定することが LLM に求められます。
このタスクを正常に完了するには、各セルの状態を理解し、手がかりと地雷の間の空間的関係を識別し、セルの配置から引き出された論理的推論に基づいてアクションを戦略化する必要があります。
高度な GPT-4 モデルを使った実験を含む私たちの実験は、LLM がこのタスクに必要な基礎的な能力を備えている一方で、それらをマインスイーパーを解決するために必要な一貫した複数ステップの論理的推論プロセスに統合するのに苦労していることを示しています。
これらの発見は、同様の状況下での LLM の推論機能とその性質を理解し、より洗練された AI 推論および計画モデルへの道を探索するためのさらなる研究の必要性を強調しています。

要約(オリジナル)

Large Language Models (LLMs) have shown remarkable proficiency in language understanding and have been successfully applied to a variety of real-world tasks through task-specific fine-tuning or prompt engineering. Despite these advancements, it remains an open question whether LLMs are fundamentally capable of reasoning and planning, or if they primarily rely on recalling and synthesizing information from their training data. In our research, we introduce a novel task — Minesweeper — specifically designed in a format unfamiliar to LLMs and absent from their training datasets. This task challenges LLMs to identify the locations of mines based on numerical clues provided by adjacent opened cells. Successfully completing this task requires an understanding of each cell’s state, discerning spatial relationships between the clues and mines, and strategizing actions based on logical deductions drawn from the arrangement of the cells. Our experiments, including trials with the advanced GPT-4 model, indicate that while LLMs possess the foundational abilities required for this task, they struggle to integrate these into a coherent, multi-step logical reasoning process needed to solve Minesweeper. These findings highlight the need for further research to understand and nature of reasoning capabilities in LLMs under similar circumstances, and to explore pathways towards more sophisticated AI reasoning and planning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google