ACC-Collab: An Actor-Critic Approach to Multi-Agent LLM Collaboration

要約

大規模な言語モデル（LLM）は、さまざまな言語ベースのタスクの汎用ツールとして機能する顕著な能力を実証しています。
最近の研究では、複数のモデル間の反復ダイアログを通じて、このようなモデルの有効性が改善できることが実証されています。
これらのパラダイムはモデルの有効性を改善することで有望ですが、この分野のほとんどの作品は、学習行動ではなく、緊急の行動としてコラボレーションを扱います。
そうすることで、現在のマルチエージェントフレームワークは、共同行動に依存して、既製のモデルに十分に訓練されています。
この制限に対処するために、俳優に基づいた学習フレームワークであるACC-Collabを提案して、コラボレーションに特化した2エージェントチーム（俳優と批評家のエージェント）を生み出します。
ACC-Collabは、さまざまなベンチマークでSOTAマルチエージェント技術を上回ることを実証します。

要約(オリジナル)

Large language models (LLMs) have demonstrated a remarkable ability to serve as general-purpose tools for various language-based tasks. Recent works have demonstrated that the efficacy of such models can be improved through iterative dialog between multiple models. While these paradigms show promise in improving model efficacy, most works in this area treat collaboration as an emergent behavior, rather than a learned behavior. In doing so, current multi-agent frameworks rely on collaborative behaviors to have been sufficiently trained into off-the-shelf models. To address this limitation, we propose ACC-Collab, an Actor-Critic based learning framework to produce a two-agent team (an actor-agent and a critic-agent) specialized in collaboration. We demonstrate that ACC-Collab outperforms SotA multi-agent techniques on a wide array of benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google