Large Language Models Spot Phishing Emails with Surprising Accuracy: A Comparative Analysis of Performance

要約

フィッシングは、何十年にもわたって蔓延しているサイバー犯罪戦術であり、今日のデジタル世界において依然として重大な脅威となっています。
サイバー犯罪は、巧妙なソーシャル エンジニアリング要素と最新のテクノロジーを活用することで、多くの個人、企業、組織を標的にし、信頼とセキュリティを悪用します。
これらのサイバー攻撃者は、正当な情報源であるかのように見せるために、多くの信頼できる形式に変装することがよくあります。
緊急性、恐怖、社会的証明、その他の操作戦略などの心理的要素を巧みに利用することで、フィッシング詐欺師は個人を誘惑し、機密性の高い個人情報を暴露させることができます。
この論文は、現代のテクノロジー内に蔓延するこの問題に基づいて、特にランダム化された一連の「419 Scam」電子メールに焦点を当て、フィッシング攻撃の検出における 15 個の大規模言語モデル (LLM) の有効性を分析することを目的としています。
目的は、事前定義された基準に基づいて電子メールのメタデータを含むテキスト ファイルを分析することにより、どの LLM がフィッシング電子メールを正確に検出できるかを判断することです。
実験では、ChatGPT 3.5、GPT-3.5-Turbo-Instruct、および ChatGPT のモデルがフィッシング メールの検出に最も効果的であると結論付けられました。

要約(オリジナル)

Phishing, a prevalent cybercrime tactic for decades, remains a significant threat in today’s digital world. By leveraging clever social engineering elements and modern technology, cybercrime targets many individuals, businesses, and organizations to exploit trust and security. These cyber-attackers are often disguised in many trustworthy forms to appear as legitimate sources. By cleverly using psychological elements like urgency, fear, social proof, and other manipulative strategies, phishers can lure individuals into revealing sensitive and personalized information. Building on this pervasive issue within modern technology, this paper aims to analyze the effectiveness of 15 Large Language Models (LLMs) in detecting phishing attempts, specifically focusing on a randomized set of ‘419 Scam’ emails. The objective is to determine which LLMs can accurately detect phishing emails by analyzing a text file containing email metadata based on predefined criteria. The experiment concluded that the following models, ChatGPT 3.5, GPT-3.5-Turbo-Instruct, and ChatGPT, were the most effective in detecting phishing emails.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google