Evaluating the Performance of ChatGPT for Spam Email Detection

要約

電子メールは引き続き極めて重要であり、専門的および商業的なドメイン内でコミュニケーション媒体を広く利用しています。
それにもかかわらず、スパム電子メールの有病率は、ユーザーにとって大きな課題をもたらし、日常生活を混乱させ、生産性を低下させます。
その結果、コンテンツに基づいてスパムを正確に識別およびフィルタリングすることが、サイバーセキュリティにとって重要になりました。
自然言語処理の最近の進歩、特にChatGPTのような大規模な言語モデルでは、質問の回答やテキスト生成などのタスクで顕著なパフォーマンスが示されています。
ただし、スパム識別におけるその可能性は未脱カタリングのままです。
ギャップを埋めるために、この調査では、英語と中国の電子メールデータセットの両方でスパム識別のためのChatGPTの機能を評価しようとします。
コンテキスト内学習を使用したスパムメール検出にChatGptを使用しています。
また、プロンプトのデモの数がChatGPTのパフォーマンスにどのように影響するかを調査します。
比較のために、ナイーブベイズ、サポートベクターマシン（SVM）、ロジスティック回帰（LR）、フィードフォワード密度の高いニューラルネットワーク（DNN）、およびBERT分類器など、5つの一般的なベンチマークメソッドも実装しています。
大規模な実験を通じて、CHATGPTのパフォーマンスは、大規模な英語データセットの深い監視された学習方法よりも著しく悪化していますが、低資源の中国のデータセットで優れたパフォーマンスを示しています。
この研究は、スパム識別のためのChATGPTの潜在能力と制限に関する洞察を提供し、リソースに制約のある言語ドメインの実行可能なソリューションとしての可能性を強調しています。

要約(オリジナル)

Email continues to be a pivotal and extensively utilized communication medium within professional and commercial domains. Nonetheless, the prevalence of spam emails poses a significant challenge for users, disrupting their daily routines and diminishing productivity. Consequently, accurately identifying and filtering spam based on content has become crucial for cybersecurity. Recent advancements in natural language processing, particularly with large language models like ChatGPT, have shown remarkable performance in tasks such as question answering and text generation. However, its potential in spam identification remains underexplored. To fill in the gap, this study attempts to evaluate ChatGPT’s capabilities for spam identification in both English and Chinese email datasets. We employ ChatGPT for spam email detection using in-context learning, which requires a prompt instruction with (or without) a few demonstrations. We also investigate how the number of demonstrations in the prompt affects the performance of ChatGPT. For comparison, we also implement five popular benchmark methods, including naive Bayes, support vector machines (SVM), logistic regression (LR), feedforward dense neural networks (DNN), and BERT classifiers. Through extensive experiments, the performance of ChatGPT is significantly worse than deep supervised learning methods in the large English dataset, while it presents superior performance on the low-resourced Chinese dataset. This study provides insights into the potential and limitations of ChatGPT for spam identification, highlighting its potential as a viable solution for resource-constrained language domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google