360°REA: Towards A Reusable Experience Accumulation with 360° Assessment for Multi-Agent System

要約

大規模言語モデル エージェントは、さまざまな複雑なタスクにわたって目覚ましい進歩を示しています。
最近の取り組みは、エージェント チームの最適化、または複雑なタスクを反復的に解決するための自己反省の採用に焦点を当てています。
これらのエージェントはすべて同じ LLM に基づいているため、自己評価を実施したり、パフォーマンスの低いエージェントを削除したりするだけでは、エージェントの能力が実質的に向上するわけではありません。
私たちは、包括的な評価と評価フィードバックによる経験の蓄積が、システムのパフォーマンスを向上させる効果的なアプローチであると主張します。
この論文では、企業の組織慣行にヒントを得た階層型マルチエージェント フレームワークである、360{\deg} アセスメントによる再利用可能なエクスペリエンスの蓄積 (360{\deg} REA) を提案します。
このフレームワークは、きめ細かい評価による多視点のパフォーマンス評価のための新しい 360{\deg} パフォーマンス評価方法を採用しています。
複雑なタスクに対処するエージェントの能力を強化するために、エージェントがきめ細かい評価を通じて経験を蓄積できるように、デュアルレベルの経験プールを導入します。
複雑なタスクのデータセットに関する広範な実験により、360{\deg}REA の有効性が実証されました。

要約(オリジナル)

Large language model agents have demonstrated remarkable advancements across various complex tasks. Recent works focus on optimizing the agent team or employing self-reflection to iteratively solve complex tasks. Since these agents are all based on the same LLM, only conducting self-evaluation or removing underperforming agents does not substantively enhance the capability of the agents. We argue that a comprehensive evaluation and accumulating experience from evaluation feedback is an effective approach to improving system performance. In this paper, we propose Reusable Experience Accumulation with 360{\deg} Assessment (360{\deg}REA), a hierarchical multi-agent framework inspired by corporate organizational practices. The framework employs a novel 360{\deg} performance assessment method for multi-perspective performance evaluation with fine-grained assessment. To enhance the capability of agents in addressing complex tasks, we introduce dual-level experience pool for agents to accumulate experience through fine-grained assessment. Extensive experiments on complex task datasets demonstrate the effectiveness of 360{\deg}REA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google