Iterative Experience Refinement of Software-Developing Agents

要約

大規模言語モデル (LLM) を利用した自律エージェントは、ソフトウェア開発などのさまざまなシナリオで高度な自律性を実現する大きな可能性を示しています。
最近の研究では、LLM エージェントが過去の経験を活用してエラーを削減し、効率を向上できることが示されています。
しかし、静的経験パラダイムは、ヒューリスティックに取得された過去の経験の固定コレクションに依存しているため、反復的な改良が欠けており、したがってエージェントの適応性が妨げられます。
このペーパーでは、LLM エージェントがタスクの実行中にエクスペリエンスを反復的に改良できるようにする、反復エクスペリエンス改良フレームワークを紹介します。
私たちは 2 つの基本的なパターンを提案します。1 つはタスク バッチ内の最も近いエクスペリエンスに基づいて調整する連続パターン、もう 1 つは以前のすべてのタスク バッチにわたってエクスペリエンスを取得する累積パターンです。
ヒューリスティックなエクスペリエンスの排除を強化したこの方法では、高品質で頻繁に使用されるエクスペリエンスが優先され、エクスペリエンス空間が効果的に管理され、効率が向上します。
広範な実験により、連続パターンでは優れた結果が得られる一方、累積パターンではより安定したパフォーマンスが得られることが示されています。
さらに、エクスペリエンスを排除することで、高品質のサブセットのわずか 11.54% を使用して、より優れたパフォーマンスを達成することが容易になります。

要約(オリジナル)

Autonomous agents powered by large language models (LLMs) show significant potential for achieving high autonomy in various scenarios such as software development. Recent research has shown that LLM agents can leverage past experiences to reduce errors and enhance efficiency. However, the static experience paradigm, reliant on a fixed collection of past experiences acquired heuristically, lacks iterative refinement and thus hampers agents’ adaptability. In this paper, we introduce the Iterative Experience Refinement framework, enabling LLM agents to refine experiences iteratively during task execution. We propose two fundamental patterns: the successive pattern, refining based on nearest experiences within a task batch, and the cumulative pattern, acquiring experiences across all previous task batches. Augmented with our heuristic experience elimination, the method prioritizes high-quality and frequently-used experiences, effectively managing the experience space and enhancing efficiency. Extensive experiments show that while the successive pattern may yield superior results, the cumulative pattern provides more stable performance. Moreover, experience elimination facilitates achieving better performance using just 11.54% of a high-quality subset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google