LLM+P: Empowering Large Language Models with Optimal Planning Proficiency

要約

大規模言語モデル (LLM) は、驚くべきゼロショット一般化能力を実証しています。最先端のチャットボットは、日常生活で生じる多くの一般的な質問に対して、もっともらしい回答を提供できます。
ただし、これまでのところ、LLM は長期的な計画の問題を確実に解決できません。
対照的に、古典的な計画立案者は、問題がフォーマットされた方法で与えられると、効率的な検索アルゴリズムを使用して、正しい計画、さらには最適な計画を迅速に特定できます。
両方の長所を活かすために、このホワイトペーパーでは、古典的なプランナーの長所を LLM に組み込んだ最初のフレームワークである LLM+P を紹介します。
LLM+P は、計画問題の自然言語記述を取り込み、その問題を解決するための正しい (または最適な) 計画を自然言語で返します。
LLM+P は、まず言語記述を計画ドメイン定義言語 (PDDL) で記述されたファイルに変換し、次に従来のプランナーを活用して解決策を迅速に見つけ、次に見つかった解決策を自然言語に翻訳し直します。
LLM+P とともに、一般的な計画シナリオから取得したさまざまなベンチマーク問題の多様なセットを定義します。
これらのベンチマーク問題に関する一連の包括的な実験により、LLM+P はほとんどの問題に対して最適な解決策を提供できるのに対し、LLM はほとんどの問題に対して実行可能な計画すら提供できないことがわかりました。\footnote{コードと結果は次の URL で公開されています。
https://github.com/Cranial-XIX/llm-pddl.git。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable zero-shot generalization abilities: state-of-the-art chatbots can provide plausible answers to many common questions that arise in daily life. However, so far, LLMs cannot reliably solve long-horizon planning problems. By contrast, classical planners, once a problem is given in a formatted way, can use efficient search algorithms to quickly identify correct, or even optimal, plans. In an effort to get the best of both worlds, this paper introduces LLM+P, the first framework that incorporates the strengths of classical planners into LLMs. LLM+P takes in a natural language description of a planning problem, then returns a correct (or optimal) plan for solving that problem in natural language. LLM+P does so by first converting the language description into a file written in the planning domain definition language (PDDL), then leveraging classical planners to quickly find a solution, and then translating the found solution back into natural language. Along with LLM+P, we define a diverse set of different benchmark problems taken from common planning scenarios. Via a comprehensive set of experiments on these benchmark problems, we find that LLM+P is able to provide optimal solutions for most problems, while LLMs fail to provide even feasible plans for most problems.\footnote{The code and results are publicly available at https://github.com/Cranial-XIX/llm-pddl.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google