From Chatbots to PhishBots? – Preventing Phishing scams created using ChatGPT, Google Bard and Claude

要約

大規模言語モデル (LLM) の高度な機能により、LLM は、会話エージェントやコンテンツ作成からデータ分析、研究、イノベーションに至るまで、さまざまなアプリケーションにわたって非常に貴重なものになりました。
ただし、その有効性とアクセシビリティにより、フィッシング攻撃などの悪意のあるコンテンツを生成するために悪用されやすくなります。
この調査では、ChatGPT (GPT 3.5 Turbo)、GPT 4、Claude、Bard という 4 つの一般的な市販 LLM を使用して、一連の悪意のあるプロンプトを使用した機能的フィッシング攻撃を生成する可能性を調査しています。
これらの LLM は、有名ブランドを説得的に模倣できるフィッシングメールと Web サイトの両方を生成し、後者がフィッシング対策システムの検出メカニズムを回避するためのさまざまな回避戦術を展開できることを発見しました。
特に、これらの攻撃は、ジェイルブレイクなどの事前の敵対的エクスプロイトを必要とせずに、これらの LLM の未変更バージョン、または「バニラ」バージョンを使用して生成できます。
対策として、悪意のあるプロンプトの早期検出に使用できる BERT ベースの自動検出ツールを構築し、LLM がフィッシング コンテンツを生成するのを防ぎます。フィッシング Web サイトのプロンプトでは 97\%、フィッシング電子メールのプロンプトでは 94\% の精度を達成しています。
。

要約(オリジナル)

The advanced capabilities of Large Language Models (LLMs) have made them invaluable across various applications, from conversational agents and content creation to data analysis, research, and innovation. However, their effectiveness and accessibility also render them susceptible to abuse for generating malicious content, including phishing attacks. This study explores the potential of using four popular commercially available LLMs – ChatGPT (GPT 3.5 Turbo), GPT 4, Claude and Bard to generate functional phishing attacks using a series of malicious prompts. We discover that these LLMs can generate both phishing emails and websites that can convincingly imitate well-known brands, and also deploy a range of evasive tactics for the latter to elude detection mechanisms employed by anti-phishing systems. Notably, these attacks can be generated using unmodified, or ‘vanilla,’ versions of these LLMs, without requiring any prior adversarial exploits such as jailbreaking. As a countermeasure, we build a BERT based automated detection tool that can be used for the early detection of malicious prompts to prevent LLMs from generating phishing content attaining an accuracy of 97\% for phishing website prompts, and 94\% for phishing email prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google