AgentMonitor: A Plug-and-Play Framework for Predictive and Secure Multi-Agent Systems

要約

大規模言語モデル (LLM) の急速な進歩により、LLM ベースのエージェントが台頭しました。
最近の研究では、各エージェントが特定の役割を果たすマルチエージェント システム (MAS) が個々の LLM よりも優れたパフォーマンスを発揮できることが示されています。
ただし、タスクの MAS の構成は依然として困難であり、パフォーマンスは実行後にしか観察できません。
LLM 開発におけるスケーリングの法則にヒントを得て、MAS のパフォーマンスを事前に予測できるかどうかを調査します。
AgentMonitor を紹介します。これは、エージェント レベルで統合して入力と出力をキャプチャし、それらを統計に変換して回帰モデルをトレーニングしてタスクのパフォーマンスを予測するフレームワークです。
さらに、リアルタイムの修正を適用して悪意のあるエージェントによってもたらされるセキュリティ リスクに対処し、悪影響を軽減し、MAS セキュリティを強化できます。
実験では、XGBoost モデルがドメイン内で 0.89、より困難なシナリオで 0.58 のスピアマン相関を達成することを示しています。
さらに、AgentMonitor を使用すると、有害なコンテンツが平均 6.2% 削減され、有益なコンテンツが 1.8% 増加し、安全性と信頼性が向上します。
コードは \url{https://github.com/chanchimin/AgentMonitor} で入手できます。

要約(オリジナル)

The rapid advancement of large language models (LLMs) has led to the rise of LLM-based agents. Recent research shows that multi-agent systems (MAS), where each agent plays a specific role, can outperform individual LLMs. However, configuring an MAS for a task remains challenging, with performance only observable post-execution. Inspired by scaling laws in LLM development, we investigate whether MAS performance can be predicted beforehand. We introduce AgentMonitor, a framework that integrates at the agent level to capture inputs and outputs, transforming them into statistics for training a regression model to predict task performance. Additionally, it can further apply real-time corrections to address security risks posed by malicious agents, mitigating negative impacts and enhancing MAS security. Experiments demonstrate that an XGBoost model achieves a Spearman correlation of 0.89 in-domain and 0.58 in more challenging scenarios. Furthermore, using AgentMonitor reduces harmful content by 6.2% and increases helpful content by 1.8% on average, enhancing safety and reliability. Code is available at \url{https://github.com/chanchimin/AgentMonitor}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google