Gaming Tool Preferences in Agentic LLMs

要約

大規模な言語モデル（LLMS）は、モデルコンテキストプロトコル（MCP）のおかげで、幅広い外部ツールにアクセスできるようになりました。
これにより、さまざまなエージェントとしての能力が大幅に拡大します。
ただし、LLMは、使用するツールのテキストの説明に完全に依存しています。これは、驚くほど壊れやすいプロセスです。
この作業では、一連の編集をツールの説明まで調査することにより、一般的なツール/関数をコールするプロトコルの脆弱性を公開します。その一部は、代替品と競合するときにLLMSからのツールの使用を大幅に増加させる可能性があります。
制御された実験を通じて、適切に編集された説明を持つツールは、元の説明を持つツールよりもGPT-4.1およびQWEN2.5-7Bから10倍以上の使用量を受け取ることを示します。
さらに、互いに直接競合するときにツール説明に対するさまざまな編集がどのように機能するか、およびこれらの傾向が10の異なるモデルのより広いセットでどのように一般化または異なるかを評価します。
これらの現象は、開発者にツールを促進する強力な方法を提供しながら、エージェントLLMがツールとリソースを選択および利用するためのより信頼性の高い基盤の必要性を強調しています。

要約(オリジナル)

Large language models (LLMs) can now access a wide range of external tools, thanks to the Model Context Protocol (MCP). This greatly expands their abilities as various agents. However, LLMs rely entirely on the text descriptions of tools to decide which ones to use–a process that is surprisingly fragile. In this work, we expose a vulnerability in prevalent tool/function-calling protocols by investigating a series of edits to tool descriptions, some of which can drastically increase a tool’s usage from LLMs when competing with alternatives. Through controlled experiments, we show that tools with properly edited descriptions receive over 10 times more usage from GPT-4.1 and Qwen2.5-7B than tools with original descriptions. We further evaluate how various edits to tool descriptions perform when competing directly with one another and how these trends generalize or differ across a broader set of 10 different models. These phenomenons, while giving developers a powerful way to promote their tools, underscore the need for a more reliable foundation for agentic LLMs to select and utilize tools and resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google