LLM+P: Empowering Large Language Models with Optimal Planning Proficiency

要約

【タイトル】- LLM+P：最適な計画能力を備えた大規模言語モデルの強化

【要約】

– LLM+Pは、大規模言語モデル（LLM）に古典的な計画者の強みを取り込んだ初めてのフレームワークである。
– LLM+Pは、自然言語の計画問題の説明を入力し、その問題を解決する正しい（または最適な）プランを自然言語で返す。
– LLM+Pは、最初に言語説明を計画ドメイン定義言語（PDDL）で書かれたファイルに変換し、古典的な計画者を活用して迅速に解決策を見つけ、そして見つかった解決策を自然言語に変換することでこれを行います。
– 共に、一般的な計画シナリオから取られた多様なベンチマーク問題を定義します。
– これらのベンチマーク問題の包括的な実験により、LLM+Pはほとんどの問題に対して最適な解を提供できる一方、LLMsはほとんどの問題に対して適切なプランを提供できないことがわかりました。
– コードと結果は、https://github.com/Cranial-XIX/llm-pddl.gitで公開されています。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable zero-shot generalization abilities: state-of-the-art chatbots can provide plausible answers to many common questions that arise in daily life. However, so far, LLMs cannot reliably solve long-horizon planning problems. By contrast, classical planners, once a problem is given in a formatted way, can use efficient search algorithms to quickly identify correct, or even optimal, plans. In an effort to get the best of both worlds, this paper introduces LLM+P, the first framework that incorporates the strengths of classical planners into LLMs. LLM+P takes in a natural language description of a planning problem, then returns a correct (or optimal) plan for solving that problem in natural language. LLM+P does so by first converting the language description into a file written in the planning domain definition language (PDDL), then leveraging classical planners to quickly find a solution, and then translating the found solution back into natural language. Along with LLM+P, we define a diverse set of different benchmark problems taken from common planning scenarios. Via a comprehensive set of experiments on these benchmark problems, we find that LLM+P is able to provide optimal solutions for most problems, while LLMs fail to provide even feasible plans for most problems.\footnote{The code and results are publicly available at https://github.com/Cranial-XIX/llm-pddl.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI