Spear Phishing With Large Language Models

要約

人工知能 (AI)、特に大規模言語モデル (LLM) の分野における最近の進歩により、強力で多用途のデュアルユース システムが誕生しました。
この知性は、さまざまな有益なタスクに活用できますが、害を及ぼすために使用されることもあります。
この研究では、標的を操作して機密情報を漏らすサイバー犯罪の一種であるスピア フィッシングに LLM がどのように使用されるかを調査することで、そのような被害の 1 つを調査します。
私はまず、スピア フィッシング攻撃の偵察およびメッセージ生成段階を支援する LLM の能力を調査します。そこで、LLM がスピア フィッシング攻撃の電子メール生成段階を支援できることがわかりました。
LLM を利用してスピア フィッシング キャンペーンを拡大できる可能性を探るため、OpenAI の GPT-3.5 および GPT-4 モデルを使用して、600 名を超える英国国会議員向けに独自のスピア フィッシング メッセージを作成しました。
私の調査結果は、これらのメッセージが現実的であるだけでなく、各電子メールの生成にかかる費用がわずか 1 セントに過ぎず、費用対効果も高いという証拠をいくつか示しています。
次に、基本的なプロンプト エンジニアリングが LLM にインストールされている保護手段を回避する方法を示し、モデルの悪用を防ぐ強力な介入についてさらなる研究の必要性を強調します。
これらの進化するリスクにさらに対処するために、アプリケーション プログラミング インターフェイスなどの構造化アクセス スキームと LLM ベースの防御システムという 2 つの潜在的な解決策を検討します。

要約(オリジナル)

Recent progress in artificial intelligence (AI), particularly in the domain of large language models (LLMs), has resulted in powerful and versatile dual-use systems. This intelligence can be put towards a wide variety of beneficial tasks, yet it can also be used to cause harm. This study explores one such harm by examining how LLMs can be used for spear phishing, a form of cybercrime that involves manipulating targets into divulging sensitive information. I first explore LLMs’ ability to assist with the reconnaissance and message generation stages of a spear phishing attack, where I find that LLMs are capable of assisting with the email generation phase of a spear phishing attack. To explore how LLMs could potentially be harnessed to scale spear phishing campaigns, I then create unique spear phishing messages for over 600 British Members of Parliament using OpenAI’s GPT-3.5 and GPT-4 models. My findings provide some evidence that these messages are not only realistic but also cost-effective, with each email costing only a fraction of a cent to generate. Next, I demonstrate how basic prompt engineering can circumvent safeguards installed in LLMs, highlighting the need for further research into robust interventions that can help prevent models from being misused. To further address these evolving risks, I explore two potential solutions: structured access schemes, such as application programming interfaces, and LLM-based defensive systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google