G-Designer: Architecting Multi-agent Communication Topologies via Graph Neural Networks

要約

大規模言語モデル (LLM) ベースのエージェントの最近の進歩により、主に巧妙に作成されたエージェント間通信トポロジーにより、集合知が個々のエージェントの能力を大幅に上回ることが実証されました。
多様で高性能な設計が利用可能であるにもかかわらず、実務者は、特定のタスクに最も効果的なパイプラインを選択する際に混乱に直面することがよくあります。 \textit{高品質のソリューションを確保しながら不要な通信トークンのオーバーヘッドを回避するには、どのトポロジが自分のタスクに最適な選択ですか?
このジレンマに対応するために、マルチエージェント導入のための適応的で効率的かつ堅牢なソリューションである G-Designer を導入します。これは、タスクを認識してカスタマイズされた通信トポロジを動的に設計します。
具体的には、G-Designer は、変分グラフ自動エンコーダを利用してノード (エージェント) とタスク固有の仮想ノードの両方をエンコードし、タスク適応型および高度な仮想ノードをデコードして、マルチエージェント システムをマルチエージェント ネットワークとしてモデル化します。
通信トポロジを実行します。
6 つのベンチマークに関する広範な実験により、G-Designer が \textbf{(1) 高性能}であることが実証され、MMLU では $84.50\%$ の精度で、HumanEval では $89.90\%$ の pass@1 で優れた結果を達成しました。
\textbf{(2) タスク適応型}、タスクの難易度に合わせた通信プロトコルを設計し、HumanEval でのトークン消費量を最大 $95.33\%$ 削減します。
\textbf{(3) 敵対的堅牢性}、わずか $0.3\%$ の精度低下でエージェントの敵対的攻撃を防御します。

要約(オリジナル)

Recent advancements in large language model (LLM)-based agents have demonstrated that collective intelligence can significantly surpass the capabilities of individual agents, primarily due to well-crafted inter-agent communication topologies. Despite the diverse and high-performing designs available, practitioners often face confusion when selecting the most effective pipeline for their specific task: \textit{Which topology is the best choice for my task, avoiding unnecessary communication token overhead while ensuring high-quality solution?} In response to this dilemma, we introduce G-Designer, an adaptive, efficient, and robust solution for multi-agent deployment, which dynamically designs task-aware, customized communication topologies. Specifically, G-Designer models the multi-agent system as a multi-agent network, leveraging a variational graph auto-encoder to encode both the nodes (agents) and a task-specific virtual node, and decodes a task-adaptive and high-performing communication topology. Extensive experiments on six benchmarks showcase that G-Designer is: \textbf{(1) high-performing}, achieving superior results on MMLU with accuracy at $84.50\%$ and on HumanEval with pass@1 at $89.90\%$; \textbf{(2) task-adaptive}, architecting communication protocols tailored to task difficulty, reducing token consumption by up to $95.33\%$ on HumanEval; and \textbf{(3) adversarially robust}, defending against agent adversarial attacks with merely $0.3\%$ accuracy drop.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google