Prompted Contextual Vectors for Spear-Phishing Detection

要約

スピア フィッシング攻撃は、大規模言語モデル (LLM) が説得力のある電子メールを生成し、ターゲットの偵察を容易にすることで脅威を拡大するため、セキュリティに重大な課題をもたらします。
これに対処するために、LLM のアンサンブルを利用して表現ベクトルを作成する新しいドキュメント ベクトル化方法に基づく検出アプローチを提案します。
LLM に人間が作成した質問に推論して応答するよう促すことで、電子メールのコンテンツに共通の説得原理が存在することを定量化し、下流の教師あり機械学習モデル用のプロンプト付きコンテキスト ドキュメント ベクトルを生成します。
私たちは、ターゲットの偵察とスピアフィッシングメールの作成を自動化する独自のシステムによって生成された独自のデータセットを使用してメソッドを評価します。
私たちの方法では、従来のフィッシングメールと無害な電子メールのみで構成されたトレーニング セットを使用して、LLM によって生成されたスピア フィッシング メールの識別において 91\% の F1 スコアを達成しました。
主な貢献には、LLM 推論を利用した新しいドキュメントのベクトル化手法、高品質のスピア フィッシング電子メールの公開データセット、およびそのような電子メールの検出における私たちの手法の実証された有効性が含まれます。
この方法論は、特に敵対的な問題領域におけるさまざまな文書分類タスクに利用できます。

要約(オリジナル)

Spear-phishing attacks present a significant security challenge, with large language models (LLMs) escalating the threat by generating convincing emails and facilitating target reconnaissance. To address this, we propose a detection approach based on a novel document vectorization method that utilizes an ensemble of LLMs to create representation vectors. By prompting LLMs to reason and respond to human-crafted questions, we quantify the presence of common persuasion principles in the email’s content, producing prompted contextual document vectors for a downstream supervised machine learning model. We evaluate our method using a unique dataset generated by a proprietary system that automates target reconnaissance and spear-phishing email creation. Our method achieves a 91\% F1 score in identifying LLM-generated spear-phishing emails, with the training set comprising only traditional phishing and benign emails. Key contributions include a novel document vectorization method utilizing LLM reasoning, a publicly available dataset of high-quality spear-phishing emails, and the demonstrated effectiveness of our method in detecting such emails. This methodology can be utilized for various document classification tasks, particularly in adversarial problem domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google