要約
最近の研究では、複数の大規模言語モデル (LLM) を利用したエージェントを連携させることが、タスク解決の有望な方法であることが示されています。
ただし、現在のアプローチには、固定数のエージェントと静的な通信構造を使用するという制約があります。
この研究では、さまざまなタスクやドメインに向けて動的なコミュニケーション構造で協力するエージェントのチームを候補者から自動的に選択することを提案します。
具体的には、LLM を利用したエージェント コラボレーションのための Dynamic LLM-Powered Agent Network ($\textbf{DyLAN}$) という名前のフレームワークを構築し、(1) チームの最適化と (2) タスク解決の 2 段階のパラダイムを運用します。
最初の段階では、$\textit{エージェント重要度スコア}$ と呼ばれる教師なし指標に基づく $\textit{エージェント選択}$ アルゴリズムを利用し、予備トライアルでの貢献度に応じて最適なエージェントを選択できるようにします。
与えられたタスクに。
次に、第 2 段階では、選択されたエージェントがクエリに従って動的に連携します。
経験的に、DyLAN は、適度な計算コストでコード生成、意思決定、一般推論、および算術推論のタスクにおいて強力なベースラインを上回るパフォーマンスを示します。
MMLU の特定の主題について、チーム最適化ステージでエージェントのチームを選択すると、DyLAN での精度が最大 25.0% 向上します。
要約(オリジナル)
Recent studies show that collaborating multiple large language model (LLM) powered agents is a promising way for task solving. However, current approaches are constrained by using a fixed number of agents and static communication structures. In this work, we propose automatically selecting a team of agents from candidates to collaborate in a dynamic communication structure toward different tasks and domains. Specifically, we build a framework named Dynamic LLM-Powered Agent Network ($\textbf{DyLAN}$) for LLM-powered agent collaboration, operating a two-stage paradigm: (1) Team Optimization and (2) Task Solving. During the first stage, we utilize an $\textit{agent selection}$ algorithm, based on an unsupervised metric called $\textit{Agent Importance Score}$, enabling the selection of best agents according to their contributions in a preliminary trial, oriented to the given task. Then, in the second stage, the selected agents collaborate dynamically according to the query. Empirically, we demonstrate that DyLAN outperforms strong baselines in code generation, decision-making, general reasoning, and arithmetic reasoning tasks with moderate computational cost. On specific subjects in MMLU, selecting a team of agents in the team optimization stage improves accuracy by up to 25.0% in DyLAN.
arxiv情報
| 著者 | Zijun Liu,Yanzhe Zhang,Peng Li,Yang Liu,Diyi Yang |
| 発行日 | 2024-11-15 04:30:04+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google