On The Planning Abilities of OpenAI’s o1 Models: Feasibility, Optimality, and Generalizability

要約

大規模言語モデル (LLM) の最近の進歩により、複雑な推論タスクを実行する能力が実証されましたが、計画における LLM の有効性はまだ解明されていません。
この研究では、実現可能性、最適性、一般化可能性という 3 つの重要な側面に焦点を当て、さまざまなベンチマーク タスクにわたる OpenAI の o1 モデルの計画機能を評価します。
制約の多いタスク ($\textit{Barman}$、$\textit{Tyreworld}$ など) および空間的に複雑な環境 ($\textit{Termes}$、$\textit{Floortile}$ など) の経験的評価を通じて
では、自己評価と制約追従における o1-preview の強みを強調するとともに、特に堅牢な空間推論を必要とするタスクにおける意思決定とメモリ管理のボトルネックも特定します。
私たちの結果は、o1-preview がタスクの制約を遵守し、構造化された環境で状態遷移を管理する点で GPT-4 よりも優れていることを明らかにしました。
ただし、このモデルは冗長なアクションを含む次善の解決策を生成することが多く、空間的に複雑なタスクを効果的に一般化するのに苦労します。
このパイロット研究は、LLM の計画の限界についての基礎的な洞察を提供し、LLM ベースの計画におけるメモリ管理、意思決定、および一般化の改善に関する将来の研究に重要な方向性を提供します。
コードは https://github.com/VITA-Group/o1-planning で入手できます。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) have showcased their ability to perform complex reasoning tasks, but their effectiveness in planning remains underexplored. In this study, we evaluate the planning capabilities of OpenAI’s o1 models across a variety of benchmark tasks, focusing on three key aspects: feasibility, optimality, and generalizability. Through empirical evaluations on constraint-heavy tasks (e.g., $\textit{Barman}$, $\textit{Tyreworld}$) and spatially complex environments (e.g., $\textit{Termes}$, $\textit{Floortile}$), we highlight o1-preview’s strengths in self-evaluation and constraint-following, while also identifying bottlenecks in decision-making and memory management, particularly in tasks requiring robust spatial reasoning. Our results reveal that o1-preview outperforms GPT-4 in adhering to task constraints and managing state transitions in structured environments. However, the model often generates suboptimal solutions with redundant actions and struggles to generalize effectively in spatially complex tasks. This pilot study provides foundational insights into the planning limitations of LLMs, offering key directions for future research on improving memory management, decision-making, and generalization in LLM-based planning. Code available at https://github.com/VITA-Group/o1-planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google