On the Resilience of Multi-Agent Systems with Malicious Agents

要約

大規模な言語モデルを活用したマルチエージェント システムは、それぞれが特定のドメインに焦点を当てた専門エージェントのコラボレーションにより、さまざまなタスクにわたって優れた能力を発揮します。
ただし、エージェントが個別に展開されている場合、悪意のあるユーザーが、他の非専門エージェントでは識別できないほどステルス性が高い、不正確または無関係な結果を生成する悪意のあるエージェントを導入するリスクがあります。
したがって、このホワイトペーパーでは、次の 2 つの重要な質問について調査します。 (1) さまざまなマルチエージェント システム構造 (A$\rightarrow$B$\rightarrow$C、A$\leftrightarrow$B$\leftrightarrow$C など) の復元力は何か。
悪意のあるエージェントの下で、別の下流タスクで?
(2) 悪意のあるエージェントから防御するためにシステムの復元力を高めるにはどうすればよいでしょうか?
悪意のあるエージェントをシミュレートするために、AutoTransform と AutoInject という 2 つの方法を考案し、機能の完全性を維持しながらエージェントを悪意のあるエージェントに変換します。
私たちは、コード生成、数学問題、翻訳、テキスト評価という 4 つの下流マルチエージェント システム タスクについて包括的な実験を実行します。
結果は、「階層的」マルチエージェント構造、つまり A$\rightarrow$(B$\leftrightarrow$C) が、$46.4\%$ や $49.8 と比較して、パフォーマンスの低下が $23.6\%$ と最も低く、優れた回復力を示していることを示唆しています。
他の 2 つの構造の \%$。
さらに、各エージェントが他のエージェントの出力に異議を唱えるメカニズムを導入するか、メッセージをレビューして修正する追加のエージェントを導入する 2 つの防御方法がシステムの復元力を強化できることを実証することで、マルチエージェント システムの復元力が向上する可能性があることを示します。
コードとデータは https://github.com/CUHK-ARISE/MAS-Resilience で入手できます。

要約(オリジナル)

Multi-agent systems, powered by large language models, have shown great abilities across various tasks due to the collaboration of expert agents, each focusing on a specific domain. However, when agents are deployed separately, there is a risk that malicious users may introduce malicious agents who generate incorrect or irrelevant results that are too stealthy to be identified by other non-specialized agents. Therefore, this paper investigates two essential questions: (1) What is the resilience of various multi-agent system structures (e.g., A$\rightarrow$B$\rightarrow$C, A$\leftrightarrow$B$\leftrightarrow$C) under malicious agents, on different downstream tasks? (2) How can we increase system resilience to defend against malicious agents? To simulate malicious agents, we devise two methods, AutoTransform and AutoInject, to transform any agent into a malicious one while preserving its functional integrity. We run comprehensive experiments on four downstream multi-agent systems tasks, namely code generation, math problems, translation, and text evaluation. Results suggest that the ‘hierarchical’ multi-agent structure, i.e., A$\rightarrow$(B$\leftrightarrow$C), exhibits superior resilience with the lowest performance drop of $23.6\%$, compared to $46.4\%$ and $49.8\%$ of other two structures. Additionally, we show the promise of improving multi-agent system resilience by demonstrating that two defense methods, introducing a mechanism for each agent to challenge others’ outputs, or an additional agent to review and correct messages, can enhance system resilience. Our code and data are available at https://github.com/CUHK-ARISE/MAS-Resilience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google