MAS-GPT: Training LLMs to Build LLM-based Multi-Agent Systems

要約

LLMベースのマルチエージェントシステム（MAS）は、多様なタスクへの取り組みに大きな可能性を示しています。
ただし、効果的なMASを設計するために、既存のアプローチは、手動構成または高度なLLMの複数の呼び出しに大きく依存しているため、適応性が不可能になり、推論コストが高くなります。
この論文では、入力がユーザークエリであり、出力が対応するMASである生成言語タスクとして再構成することにより、MASを構築するプロセスを簡素化します。
この新しいタスクに対処するために、MASを実行可能コードとして表現し、一貫性指向のデータ構築パイプラインを提案して、コヒーレントで一貫したクエリMASペアを含む高品質のデータセットを作成します。
このデータセットを使用して、単一のLLM推論内でクエリ適応MASを生成できるオープンソース中サイズのLLMであるMAS-GPTをトレーニングします。
生成されたMAは、ユーザークエリを処理し、高品質の応答を提供するためにシームレスに適用できます。
9つのベンチマークと5つのLLMでの広範な実験は、提案されたMAS-GPTが多様な設定で10以上のベースラインMASメソッドを常に上回ることを示しており、MAS-GPTの高い効果、効率性、強力な一般化能力を示しています。
コードはhttps://github.com/rui-ye/mas-gptで入手できます。

要約(オリジナル)

LLM-based multi-agent systems (MAS) have shown significant potential in tackling diverse tasks. However, to design effective MAS, existing approaches heavily rely on manual configurations or multiple calls of advanced LLMs, resulting in inadaptability and high inference costs. In this paper, we simplify the process of building an MAS by reframing it as a generative language task, where the input is a user query and the output is a corresponding MAS. To address this novel task, we unify the representation of MAS as executable code and propose a consistency-oriented data construction pipeline to create a high-quality dataset comprising coherent and consistent query-MAS pairs. Using this dataset, we train MAS-GPT, an open-source medium-sized LLM that is capable of generating query-adaptive MAS within a single LLM inference. The generated MAS can be seamlessly applied to process user queries and deliver high-quality responses. Extensive experiments on 9 benchmarks and 5 LLMs show that the proposed MAS-GPT consistently outperforms 10+ baseline MAS methods on diverse settings, indicating MAS-GPT’s high effectiveness, efficiency and strong generalization ability. Code will be available at https://github.com/rui-ye/MAS-GPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google