Formally Specifying the High-Level Behavior of LLM-Based Agents

要約

LLM を活用した自律的で目標駆動型のエージェントは、調達に費用がかかるタスク固有の微調整されたモデルを必要とせずに、困難な問題を解決するための有望なツールとして最近登場しました。
現在、LLM ベースのエージェントは多種多様なタスクに適用できるため、エージェントの設計に画一的なアプローチは存在しないため、そのようなエージェントの設計と実装はアドホックです。
この研究では、エージェントの構築プロセスを簡素化する最小限の生成フレームワークを提案することで、新しいエージェントの設計と実装の困難を軽減することを目的としています。
私たちが導入するフレームワークを使用すると、ユーザーは高レベルの宣言的仕様で望ましいエージェントの動作を定義できます。この仕様は、LLM が望ましい動作を示す出力を生成することを保証するデコード モニターの構築に使用されます。
私たちの宣言的アプローチでは、動作がどのように実装または強制されるべきかを気にせずに記述されるため、さまざまな LLM ベースのエージェントを使用した迅速な設計、実装、実験が可能になります。
提案されたフレームワークを使用して最近の LLM ベースのエージェント (ReACT など) を実装する方法を示し、アプローチの柔軟性を活用して、より複雑な動作 (Plan-Act-Summarize) を持つ新しいエージェントを定義する方法を示します。
解決 (PASS) エージェント。
最後に、私たちの方法が、複数の一般的な推論中心の質問応答ベンチマークで他のエージェントよりも優れていることを示します。

要約(オリジナル)

Autonomous, goal-driven agents powered by LLMs have recently emerged as promising tools for solving challenging problems without the need for task-specific finetuned models that can be expensive to procure. Currently, the design and implementation of such agents is ad hoc, as the wide variety of tasks that LLM-based agents may be applied to naturally means there can be no one-size-fits-all approach to agent design. In this work we aim to alleviate the difficulty of designing and implementing new agents by proposing a minimalistic generation framework that simplifies the process of building agents. The framework we introduce allows the user to define desired agent behaviors in a high-level, declarative specification that is then used to construct a decoding monitor which guarantees the LLM will produce an output exhibiting the desired behavior. Our declarative approach, in which the behavior is described without concern for how it should be implemented or enforced, enables rapid design, implementation, and experimentation with different LLM-based agents. We demonstrate how the proposed framework can be used to implement recent LLM-based agents (e.g., ReACT), and show how the flexibility of our approach can be leveraged to define a new agent with more complex behavior, the Plan-Act-Summarize-Solve (PASS) agent. Lastly, we demonstrate that our method outperforms other agents on multiple popular reasoning-centric question-answering benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google