Spam-T5: Benchmarking Large Language Models for Few-Shot Email Spam Detection

要約

タイトル：Emailスパム検知のFew-Shot用途における大規模言語モデルのベンチマーク：Spam-T5

要約：
– 大規模言語モデル（LLMs）を使用したEmailスパム検知の効果を、BERT-like、Sentence Transformers、Seq2Seqの3つの異なるモデルファミリーから主要モデルを比較することによって調査しました。
– さらに、Na\’ive BayesやLightGBMなどの確立された機械学習技術も基準として検討しました。
– フルトレーニングセットとフューショットセッティングの異なる数のトレーニングサンプルを利用して、これらのモデルの性能を4つの公開データセットで評価しました。
– 結果、少数サンプルのシナリオで特にLLMsが基準モデルよりも効果的であることがわかりました。
– こうした適応性は、ラベル付きサンプルが少なく、モデルが頻繁な更新を必要とするスパム検知タスクにはLLMsが最適であることを示しています。
– さらに、Emailスパム検知の目的に特化し、微調整されたFlan-T5モデルであるSpam-T5を紹介しました。
– 結果、Spam-T5は、ベースラインモデルや他のLLMよりも、特に少数のトレーニングサンプルがある場合に、大多数のシナリオで優れた性能を発揮することがわかりました。
– この研究で使用したコードは、https://github.com/jpmorganchase/emailspamdetectionで公開されています。

要約(オリジナル)

This paper investigates the effectiveness of large language models (LLMs) in email spam detection by comparing prominent models from three distinct families: BERT-like, Sentence Transformers, and Seq2Seq. Additionally, we examine well-established machine learning techniques for spam detection, such as Na\’ive Bayes and LightGBM, as baseline methods. We assess the performance of these models across four public datasets, utilizing different numbers of training samples (full training set and few-shot settings). Our findings reveal that, in the majority of cases, LLMs surpass the performance of the popular baseline techniques, particularly in few-shot scenarios. This adaptability renders LLMs uniquely suited to spam detection tasks, where labeled samples are limited in number and models require frequent updates. Additionally, we introduce Spam-T5, a Flan-T5 model that has been specifically adapted and fine-tuned for the purpose of detecting email spam. Our results demonstrate that Spam-T5 surpasses baseline models and other LLMs in the majority of scenarios, particularly when there are a limited number of training samples available. Our code is publicly available at https://github.com/jpmorganchase/emailspamdetection.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI