When LLMs Go Online: The Emerging Threat of Web-Enabled LLMs

要約

大規模言語モデル (LLM) の最近の進歩により、LLM は計画を立て、さまざまなツールと対話できるエージェント システムとして確立されました。
これらの LLM エージェントは Web ベースのツールと組み合わせられることが多く、さまざまなソースやリアルタイム情報へのアクセスが可能になります。
これらの進歩はさまざまなアプリケーションに大きなメリットをもたらしますが、特に個人情報が関与するサイバー攻撃においては、悪意のある使用のリスクも増大します。
この研究では、個人データが関与するサイバー攻撃における LLM エージェントの悪用に関連するリスクを調査します。
具体的には、1) サイバー攻撃を実行するように指示されたときに LLM エージェントがどれほど強力になるか、2) Web ベースのツールによってサイバー攻撃がどのように強化されるか、3) LLM エージェントを使用してサイバー攻撃を開始することがいかに手頃な価格で簡単になるか、を理解することを目指しています。
私たちは、個人を特定できる情報 (PII) の収集、なりすまし投稿の生成、スピアフィッシングメールの作成という 3 つの攻撃シナリオを調査します。
私たちの実験では、これらの攻撃における LLM エージェントの有効性が明らかになりました。LLM エージェントは PII 収集において最大 95.9% の精度を達成し、LLM エージェントによって作成されたなりすまし投稿の最大 93.9% が本物であると評価され、スピア内のリンクのクリック率が向上しました。
LLM エージェントによって作成されたフィッシングメールは最大 46.67% に達しました。
さらに、私たちの調査結果は、現代の商用 LLM における既存の保護手段の限界を強調し、LLM エージェントの悪用を防ぐためのより堅牢なセキュリティ対策の緊急の必要性を強調しています。

要約(オリジナル)

Recent advancements in Large Language Models (LLMs) have established them as agentic systems capable of planning and interacting with various tools. These LLM agents are often paired with web-based tools, enabling access to diverse sources and real-time information. Although these advancements offer significant benefits across various applications, they also increase the risk of malicious use, particularly in cyberattacks involving personal information. In this work, we investigate the risks associated with misuse of LLM agents in cyberattacks involving personal data. Specifically, we aim to understand: 1) how potent LLM agents can be when directed to conduct cyberattacks, 2) how cyberattacks are enhanced by web-based tools, and 3) how affordable and easy it becomes to launch cyberattacks using LLM agents. We examine three attack scenarios: the collection of Personally Identifiable Information (PII), the generation of impersonation posts, and the creation of spear-phishing emails. Our experiments reveal the effectiveness of LLM agents in these attacks: LLM agents achieved a precision of up to 95.9% in collecting PII, up to 93.9% of impersonation posts created by LLM agents were evaluated as authentic, and the click rate for links in spear phishing emails created by LLM agents reached up to 46.67%. Additionally, our findings underscore the limitations of existing safeguards in contemporary commercial LLMs, emphasizing the urgent need for more robust security measures to prevent the misuse of LLM agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google