Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents

要約

大規模言語モデル (LLM) は、さまざまな自律エージェント システムに不可欠なコンポーネントになっています。
この研究では、ETO と呼ばれる探索ベースの軌道最適化アプローチを紹介します。
この学習方法は、オープン LLM エージェントのパフォーマンスを向上させるように設計されています。
成功した専門家の軌跡のみをトレーニングする以前の研究とは対照的に、私たちの方法ではエージェントが探索の失敗から学ぶことができます。
これにより、反復的な最適化フレームワークを通じてパフォーマンスが向上します。
探索フェーズでは、エージェントは環境と対話しながら指定されたタスクを完了し、失敗の軌跡を収集して対照的な軌跡のペアを作成します。
後続のトレーニング フェーズでは、エージェントはこれらの軌道優先ペアを利用して、DPO などの対照的な学習方法を使用してポリシーを更新します。
この探索とトレーニングの反復サイクルにより、エージェントの継続的な改善が促進されます。
3 つの複雑なタスクに関する実験では、ETO がベースラインのパフォーマンスを常に大幅に上回っていることが実証されました。
さらに、専門家の軌道が欠けているシナリオにおけるタスク解決の効率と可能性の調査により、私たちのアプローチの有効性が強調されます。

要約(オリジナル)

Large Language Models (LLMs) have become integral components in various autonomous agent systems. In this study, we present an exploration-based trajectory optimization approach, referred to as ETO. This learning method is designed to enhance the performance of open LLM agents. Contrary to previous studies that exclusively train on successful expert trajectories, our method allows agents to learn from their exploration failures. This leads to improved performance through an iterative optimization framework. During the exploration phase, the agent interacts with the environment while completing given tasks, gathering failure trajectories to create contrastive trajectory pairs. In the subsequent training phase, the agent utilizes these trajectory preference pairs to update its policy using contrastive learning methods like DPO. This iterative cycle of exploration and training fosters continued improvement in the agents. Our experiments on three complex tasks demonstrate that ETO consistently surpasses baseline performance by a large margin. Furthermore, an examination of task-solving efficiency and potential in scenarios lacking expert trajectory underscores the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google