MultiAgent Collaboration Attack: Investigating Adversarial Attacks in Large Language Model Collaborations via Debate

要約

大規模言語モデル (LLM) は、個別に動作する場合、現在のベンチマークで優れた結果を示しています。
機能の進歩とパラメーター サイズと推論時間の短縮により、これらのモデルをエージェントとして使用することが容易になり、複数のモデル間の相互作用で複雑なタスクを実行できるようになりました。
このようなコラボレーションには、特殊なモデル (コーディングなど) の使用、複数の計算による信頼性の向上、より多様な出力につながる発散的思考の強化など、いくつかの利点があります。
したがって、言語モデルの共同使用は今後数年間で大幅に増加すると予想されます。
この研究では、敵対者の影響下での議論を通じて協力するモデルのネットワークの動作を評価します。
システムの精度とモデルの一致に焦点を当て、敵対者の有効性を評価するための適切な指標を導入します。
私たちの調査結果は、他者に影響を与えるモデルの説得力の重要性を浮き彫りにしています。
さらに、より説得力のある議論を生成し、防御戦略としてのプロンプトベースの緩和の可能性を評価するための推論時の手法を調査します。

要約(オリジナル)

Large Language Models (LLMs) have shown exceptional results on current benchmarks when working individually. The advancement in their capabilities, along with a reduction in parameter size and inference times, has facilitated the use of these models as agents, enabling interactions among multiple models to execute complex tasks. Such collaborations offer several advantages, including the use of specialized models (e.g. coding), improved confidence through multiple computations, and enhanced divergent thinking, leading to more diverse outputs. Thus, the collaborative use of language models is expected to grow significantly in the coming years. In this work, we evaluate the behavior of a network of models collaborating through debate under the influence of an adversary. We introduce pertinent metrics to assess the adversary’s effectiveness, focusing on system accuracy and model agreement. Our findings highlight the importance of a model’s persuasive ability in influencing others. Additionally, we explore inference-time methods to generate more compelling arguments and evaluate the potential of prompt-based mitigation as a defensive strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google