Spam-T5: Benchmarking Large Language Models for Few-Shot Email Spam Detection

要約

タイトル：「少数のトレーニングサンプルにおける電子メールスパム検出のための大規模言語モデルのベンチマーク作成」
要約：
– 本論文は、BERTライク、SentenceTransformers、Seq2Seqなどの大きな言語モデル（LLM）といくつかの機械学習技術を比較し、電子メールスパム検出における効果を調査する。
– NaïveBayesやLightGBMなどのベースライン技術も使用し、4つの公開データセットでモデルのパフォーマンスを評価した。
– 結果、LLMsがベースライン技術を超えることが多く、特に少数のトレーニングサンプルの場合には、その適応性が目立つ。
– Spam-T5という、電子メールスパムを検出するために特別に適応され、微調整されたFlan-T5モデルを導入している。
– 結果は、Spam-T5がベースラインモデルや他のLLMsを超え、特にトレーニングサンプルが少ない場合に優れていることを示している。コードは公開されている。

要約(オリジナル)

This paper investigates the effectiveness of large language models (LLMs) in email spam detection by comparing prominent models from three distinct families: BERT-like, Sentence Transformers, and Seq2Seq. Additionally, we examine well-established machine learning techniques for spam detection, such as Na\’ive Bayes and LightGBM, as baseline methods. We assess the performance of these models across four public datasets, utilizing different numbers of training samples (full training set and few-shot settings). Our findings reveal that, in the majority of cases, LLMs surpass the performance of the popular baseline techniques, particularly in few-shot scenarios. This adaptability renders LLMs uniquely suited to spam detection tasks, where labeled samples are limited in number and models require frequent updates. Additionally, we introduce Spam-T5, a Flan-T5 model that has been specifically adapted and fine-tuned for the purpose of detecting email spam. Our results demonstrate that Spam-T5 surpasses baseline models and other LLMs in the majority of scenarios, particularly when there are a limited number of training samples available. Our code is publicly available at https://github.com/jpmorganchase/emailspamdetection.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI