Formal-LLM: Integrating Formal Language and Natural Language for Controllable LLM-based Agents

要約

Large Language Model (LLM) の最近の進歩により、AI エージェントは複雑なタスクを解決するための複数ステップの計画を自動的に生成および実行できるようになりました。
ただし、LLM のコンテンツ生成プロセスはほとんど制御できないため、現在の LLM ベースのエージェントは無効または実行不可能なプランを頻繁に生成し、生成されたプランのパフォーマンスを危険にさらし、LLM ベースのエージェントに対するユーザーの信頼を損ないます。
そこで本論文では、自然言語の表現力と形式言語の精度を統合することにより、LLMベースのエージェントのための新しい「Formal-LLM」フレームワークを提案する。
具体的には、このフレームワークにより、人間のユーザーが計画プロセスに対する要件や制約をオートマトンとして表現できるようになります。
次に、オートマトンの監視下でスタックベースの LLM 計画生成プロセスが実行され、生成された計画が制約を満たしていることが確認され、計画プロセスが制御可能になります。
私たちはベンチマーク タスクと実用的な現実のタスクの両方で実験を行い、私たちのフレームワークは全体的なパフォーマンスの 50% 以上の向上を達成しました。これにより、Formal-LLM を採用してエージェントの計画生成をガイドし、エージェントが無効な計画を生成するのを防ぐことの実現可能性と有効性が検証されます。
そして失敗した計画。
さらに、より制御可能な LLM ベースのエージェントにより、計画の高い妥当性が不可欠なアプリケーション シナリオでの LLM の広範な利用が促進されます。
この作品は https://github.com/agiresearch/Formal-LLM でオープンソース化されています。

要約(オリジナル)

Recent advancements on Large Language Models (LLMs) enable AI Agents to automatically generate and execute multi-step plans to solve complex tasks. However, since LLM’s content generation process is hardly controllable, current LLM-based agents frequently generate invalid or non-executable plans, which jeopardizes the performance of the generated plans and corrupts users’ trust in LLM-based agents. In response, this paper proposes a novel “Formal-LLM” framework for LLM-based agents by integrating the expressiveness of natural language and the precision of formal language. Specifically, the framework allows human users to express their requirements or constraints for the planning process as an automaton. A stack-based LLM plan generation process is then conducted under the supervision of the automaton to ensure that the generated plan satisfies the constraints, making the planning process controllable. We conduct experiments on both benchmark tasks and practical real-life tasks, and our framework achieves over 50% overall performance increase, which validates the feasibility and effectiveness of employing Formal-LLM to guide the plan generation of agents, preventing the agents from generating invalid and unsuccessful plans. Further, more controllable LLM-based agents can facilitate the broader utilization of LLM in application scenarios where high validity of planning is essential. The work is open-sourced at https://github.com/agiresearch/Formal-LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google