TIC: Translate-Infer-Compile for accurate ‘text to plan’ using LLMs and logical intermediate representations

要約

与えられた自然言語計画タスク要求に対する計画を生成する問題を研究します。
LLM は自然言語処理には優れていますが、計画に関してはあまり優れていません。
一方、従来の計画ツールはタスクの計画には優れていますが、計画ドメイン定義言語 (PDDL) などの構造化言語での入力が必要です。
LLM を使用して計画タスク要求の PDDL 表現 (タスク PDDL) を生成し、その後、古典的なプランナーを使用して計画を計算することで、両方の手法の長所を活用します。
LLM を使用してタスク PDDL を直接生成する以前のアプローチとは異なり、私たちのアプローチは、(a) 変換: 自然言語タスク記述の論理的に解釈可能な中間表現を生成するためだけに LLM を使用する、(b) 推論: タスクの記述から追加の論理的に依存する情報を導き出す、から構成されます。
論理推論器 (現在は応答セット プログラミング ソルバー) を使用した中間表現、および (c) コンパイル: ベース情報と推論情報からターゲット タスク PDDL を生成します。
LLM を使用して中間表現のみを出力すると、LLM エラーが大幅に減少することがわかります。
その結果、TIC アプローチは、少なくとも 1 つの LLM について、評価データセットの 7 つのドメインすべてについてタスク PDDL 生成の高精度を達成します。

要約(オリジナル)

We study the problem of generating plans for given natural language planning task requests. On one hand, LLMs excel at natural language processing but do not perform well on planning. On the other hand, classical planning tools excel at planning tasks but require input in a structured language such as the Planning Domain Definition Language (PDDL). We leverage the strengths of both the techniques by using an LLM for generating the PDDL representation (task PDDL) of planning task requests followed by using a classical planner for computing a plan. Unlike previous approaches that use LLMs for generating task PDDLs directly, our approach comprises of (a) translate: using an LLM only for generating a logically interpretable intermediate representation of natural language task descriptions, (b) infer: deriving additional logically dependent information from the intermediate representation using a logic reasoner (currently, Answer Set Programming solver), and (c) compile: generating the target task PDDL from the base and inferred information. We observe that using an LLM to only output the intermediate representation significantly reduces LLM errors. Consequently, TIC approach achieves, for at least one LLM, high accuracy on task PDDL generation for all seven domains of our evaluation dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google