Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization

要約

ここ数ヶ月、大規模言語モデル（LLM）が、単に人間ユーザーからのクエリに応答するだけでなく、目的指向のマルチステップタスクを自ら実行できる自律型言語エージェントに拡張されるという、強力な新しいトレンドが出現している。しかし、既存の言語エージェントのほとんどは、環境固有の報酬を使用して最適化されていない。いくつかのエージェントは、言語フィードバックにより反復的な改良を可能にしているが、報酬からの勾配ベースの学習に適合するような方法で推論や計画を行うものではない。本論文では、環境フィードバックから言語エージェントのプロンプトを政策勾配を通して自動的に調整する遡及モデルを学習することにより、大規模な言語エージェントを強化するための原理的なフレームワークを紹介する。具体的には、我々の提案するエージェントアーキテクチャは、複数の環境とタスクにまたがる報酬から学習し、事前に学習された言語モデルを微調整することで、事前に失敗した試みの根本原因を要約し、行動計画を提案することで、言語エージェントのプロンプトを改良する。様々なタスクに関する実験結果は、言語エージェントが時間とともに改善し、我々のアプローチが環境からの勾配を適切に利用しないベースラインを大幅に上回ることを実証している。これは、言語エージェントを改善するためにポリシー勾配最適化を利用することが有望であることを示しており、これは我々の研究が最初のものの一つであると信じている。

要約(オリジナル)

Recent months have seen the emergence of a powerful new trend in which large language models (LLMs) are augmented to become autonomous language agents capable of performing objective oriented multi-step tasks on their own, rather than merely responding to queries from human users. Most existing language agents, however, are not optimized using environment-specific rewards. Although some agents enable iterative refinement through verbal feedback, they do not reason and plan in ways that are compatible with gradient-based learning from rewards. This paper introduces a principled framework for reinforcing large language agents by learning a retrospective model, which automatically tunes the language agent prompts from environment feedback through policy gradient. Specifically, our proposed agent architecture learns from rewards across multiple environments and tasks, for fine-tuning a pre-trained language model which refines the language agent prompt by summarizing the root cause of prior failed attempts and proposing action plans. Experimental results on various tasks demonstrate that the language agents improve over time and that our approach considerably outperforms baselines that do not properly leverage gradients from the environment. This demonstrates that using policy gradient optimization to improve language agents, for which we believe our work is one of the first, seems promising and can be applied to optimize other models in the agent architecture to enhance agent performances over time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL