FLAP: Flow-Adhering Planning with Constrained Decoding in LLMs

要約

計画は、タスク指向ダイアログ (TOD) におけるエージェントにとって重要なタスクです。
通常、人間のエージェントは、事前定義されたワークフローに従い、ワークフローのステップを実行可能な項目に分解し、API を順番に実行することでアクションを実行することでユーザーの問題を解決します。
いずれも推論と計画が必要です。
最近の LLM の進歩により、LLM をタスク計画や API の使用に使用する試みが増えています。
ただし、事前定義されたワークフローおよび API 依存関係に対する計画の忠実性は、LLM では保証されません。
さらに、現実のワークフローはカスタム定義されることが多く、変更される傾向があります。
したがって、適応することが望ましいです。
これを研究するために、事前定義されたフローに従い、API の依存関係を維持することでユーザーの意図を解決する必要がある TOD での忠実な計画の問題を提案します。
この問題を解決するために、LLM の先読みヒューリスティックを使用した制約付きデコードに基づくフロー付着計画アルゴリズムである FLAP を提案します。
当社のアルゴリズムは、ドメイン固有 (計画/依存関係) データを使用して LLM を微調整する必要性を軽減し、事前定義されたフローへの迅速な適応を可能にし、他のデコードおよびプロンプトベースのベースラインよりも優れたパフォーマンスを発揮します。
さらに、私たちのアルゴリズムは、より小さな LLM (7B) がより大きな LLM (30B ～ 40B) と同等のパフォーマンスを発揮できるようにします。

要約(オリジナル)

Planning is a crucial task for agents in task oriented dialogs (TODs). Human agents typically resolve user issues by following predefined workflows, decomposing workflow steps into actionable items, and performing actions by executing APIs in order; all of which require reasoning and planning. With the recent advances in LLMs, there have been increasing attempts to use them for task planning and API usage. However, the faithfulness of the plans to predefined workflows and API dependencies, is not guaranteed with LLMs. Moreover, workflows in real life are often custom-defined and prone to changes; hence, adaptation is desirable. To study this, we propose the problem of faithful planning in TODs that needs to resolve user intents by following predefined flows and preserving API dependencies. To solve this problem, we propose FLAP, a Flow-Adhering Planning algorithm based on constrained decoding with lookahead heuristic for LLMs. Our algorithm alleviates the need for finetuning LLMs using domain specific (plan/dependency) data, enables quick adaptation to predefined flows, and outperforms other decoding and prompting-based baselines. Further, our algorithm empowers smaller LLMs (7B) to perform at par larger LLMs (30B-40B).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google