Lateral Phishing With Large Language Models: A Large Organization Comparative Study

要約

大規模な言語モデル（LLMS）の出現により、高度にターゲットを絞った、パーソナライズされた自動化された攻撃の生成を可能にすることにより、フィッシングメールの脅威が高まりました。
伝統的に、多くのフィッシングメールは、タイプミス、エラー、言語の貧弱なことによって特徴付けられてきました。
これらのエラーはLLMSによって軽減され、攻撃者の障壁が潜在的に低下する可能性があります。
それにもかかわらず、LLMで生成された横方向フィッシングメールの有効性を人間によって作られたものと比較する大規模な研究が不足しています。
現在の文献は、特にLLMがより説得力のあるエラーのないフィッシングコンテンツを生成する可能性を考慮して、実際の大規模な組織設定で、LLMとヒト生成の横方向フィッシングメールの比較効果に適切に対処していません。
このギャップに対処するために、私たちは大規模な大学で先駆的な研究を実施し、教員、スタッフ、管理者、学生労働者を含む約9,000人の従業員を対象としています。
我々の結果は、LLM生成の横方向フィッシングメールは、コミュニケーションの専門家によって書かれたものと同じくらい効果的であり、主要なフィッシングキャンペーンでLLMSによってもたらされる重大な脅威を強調していることを示しています。
全体的なフィッシング実験の結果を分析し、部門と職務の脆弱性を比較します。
さらに、定性的データを収集するために、詳細なアンケートを管理し、脆弱な従業員の行動の背後にある理由と動機に関する洞察を明らかにしました。
この研究は、教育機関におけるサイバーセキュリティの脅威の理解に貢献し、LLMがより説得力のあるコンテンツを生成する可能性を考慮して、LLMと人間生成のフィッシングメールの有効性の包括的な比較を提供します。
調査結果は、AIを搭載したフィッシング攻撃の脅威の増大を軽減するために、ユーザー教育とシステムの防御力の強化の必要性を強調しています。

要約(オリジナル)

The emergence of Large Language Models (LLMs) has heightened the threat of phishing emails by enabling the generation of highly targeted, personalized, and automated attacks. Traditionally, many phishing emails have been characterized by typos, errors, and poor language. These errors can be mitigated by LLMs, potentially lowering the barrier for attackers. Despite this, there is a lack of large-scale studies comparing the effectiveness of LLM-generated lateral phishing emails to those crafted by humans. Current literature does not adequately address the comparative effectiveness of LLM and human-generated lateral phishing emails in a real-world, large-scale organizational setting, especially considering the potential for LLMs to generate more convincing and error-free phishing content. To address this gap, we conducted a pioneering study within a large university, targeting its workforce of approximately 9,000 individuals including faculty, staff, administrators, and student workers. Our results indicate that LLM-generated lateral phishing emails are as effective as those written by communications professionals, emphasizing the critical threat posed by LLMs in leading phishing campaigns. We break down the results of the overall phishing experiment, comparing vulnerability between departments and job roles. Furthermore, to gather qualitative data, we administered a detailed questionnaire, revealing insights into the reasons and motivations behind vulnerable employee’s actions. This study contributes to the understanding of cyber security threats in educational institutions and provides a comprehensive comparison of LLM and human-generated phishing emails’ effectiveness, considering the potential for LLMs to generate more convincing content. The findings highlight the need for enhanced user education and system defenses to mitigate the growing threat of AI-powered phishing attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google