要約
大規模な言語モデル（LLMS）の開発は、補強学習とツール使用エージェントを介した環境フィードバック駆動型学習の出現によってフラグを立てられた経験駆動型の時代に入りました。
これにより、モデルコンテキストプロトコル（MCP）の新興は、LLMが\ APIやデータなどの外部サービスとどのように相互作用する必要があるかについての標準を定義します。
ただし、MCPがLLMエージェントシステムの事実上の標準になると、新しい安全リスクも導入します。
特に、MCPは、LLM開発者によって制御されていないサードパーティサービスをエージェントシステムに導入します。
これらのサードパーティMCPサービスプロバイダーは潜在的に悪意があり、脆弱性と妨害ユーザーエージェントのやり取りを活用するための経済的インセンティブを持っています。
このポジションペーパーでは、LLM Safetyの研究コミュニティを提唱して、MCPによって導入された新しい安全リスクの問題に細心の注意を払い、安全なMCPを搭載したエージェントシステムを構築するための新しい技術を開発します。
私たちの立場を確立するために、私たちは3つの重要な部分で議論します。
（1）最初に、MCP駆動エージェントシステムの安全性の問題を調べるための制御されたフレームワークである\ Frameworkを構築します。
（2）次に、一連のパイロット実験を実施して、MCP駆動エージェントシステムの安全リスクを実証することは本当の脅威であり、その防御は些細なことではありません。
（3）最後に、安全なMCP駆動エージェントシステムを構築するためのロードマップを表示することにより、見通しを示します。
特に、研究者に次の研究の方向性を説得するよう呼びかけます：レッドチーム、MCPセーフLLM開発、MCP安全性評価、MCP安全データの蓄積、MCPサービスセーフガード、MCP安全な生態系の建設。
このポジションペーパーが、MCPの安全性における研究コミュニティの認識を高め、より多くの研究者がこの重要な研究の方向性に参加することを奨励できることを願っています。
私たちのコードは、https：//github.com/littlelitlenine/safemcp.gitで入手できます。
要約(オリジナル)
The development of large language models (LLMs) has entered in a experience-driven era, flagged by the emergence of environment feedback-driven learning via reinforcement learning and tool-using agents. This encourages the emergenece of model context protocol (MCP), which defines the standard on how should a LLM interact with external services, such as \api and data. However, as MCP becomes the de facto standard for LLM agent systems, it also introduces new safety risks. In particular, MCP introduces third-party services, which are not controlled by the LLM developers, into the agent systems. These third-party MCP services provider are potentially malicious and have the economic incentives to exploit vulnerabilities and sabotage user-agent interactions. In this position paper, we advocate the research community in LLM safety to pay close attention to the new safety risks issues introduced by MCP, and develop new techniques to build safe MCP-powered agent systems. To establish our position, we argue with three key parts. (1) We first construct \framework, a controlled framework to examine safety issues in MCP-powered agent systems. (2) We then conduct a series of pilot experiments to demonstrate the safety risks in MCP-powered agent systems is a real threat and its defense is not trivial. (3) Finally, we give our outlook by showing a roadmap to build safe MCP-powered agent systems. In particular, we would call for researchers to persue the following research directions: red teaming, MCP safe LLM development, MCP safety evaluation, MCP safety data accumulation, MCP service safeguard, and MCP safe ecosystem construction. We hope this position paper can raise the awareness of the research community in MCP safety and encourage more researchers to join this important research direction. Our code is available at https://github.com/littlelittlenine/SafeMCP.git.
arxiv情報
| 著者 | Junfeng Fang,Zijun Yao,Ruipeng Wang,Haokai Ma,Xiang Wang,Tat-Seng Chua |
| 発行日 | 2025-06-16 16:24:31+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google