Spam-T5: Benchmarking Large Language Models for Few-Shot Email Spam Detection

要約

タイトル: 「少数のトレーニングサンプルでのメールスパム検出のための大規模言語モデルのベンチマーク化」

要約:

– 大型言語モデル（LLMs）の有効性を調査し、BERT-like、Sentence Transformers、およびSeq2Seqの3つの異なるファミリーから多数のモデルを比較しました。
– スパム検出における従来の機械学習技術、例えばナイーブベイズやLightGBMなどをベースライン手法として調査しました。
– フルトレーニングセットとフューショットの設定を使って、4つの公共データセットの性能を評価しました。
– 結果として、ほとんどの場合において、LLMはベースライン技術を上回り、特にフューショットシナリオでは適応性が高く、ラベル付きのサンプルが少なく、モデルが頻繁に更新される必要のあるスパム検出タスクに適していることがわかりました。
– また、特別に調整されたFlan-T5モデルであるSpam-T5を紹介し、その結果、Spam-T5はベースラインモデルや他のLLMよりも、特にトレーニングサンプルが限られている場合に優れた性能を発揮することが示されました。
– 彼らのコードは公式に利用可能で、https://github.com/jpmorganchase/emailspamdetectionで入手可能です。

要約(オリジナル)

This paper investigates the effectiveness of large language models (LLMs) in email spam detection by comparing prominent models from three distinct families: BERT-like, Sentence Transformers, and Seq2Seq. Additionally, we examine well-established machine learning techniques for spam detection, such as Na\’ive Bayes and LightGBM, as baseline methods. We assess the performance of these models across four public datasets, utilizing different numbers of training samples (full training set and few-shot settings). Our findings reveal that, in the majority of cases, LLMs surpass the performance of the popular baseline techniques, particularly in few-shot scenarios. This adaptability renders LLMs uniquely suited to spam detection tasks, where labeled samples are limited in number and models require frequent updates. Additionally, we introduce Spam-T5, a Flan-T5 model that has been specifically adapted and fine-tuned for the purpose of detecting email spam. Our results demonstrate that Spam-T5 surpasses baseline models and other LLMs in the majority of scenarios, particularly when there are a limited number of training samples available. Our code is publicly available at https://github.com/jpmorganchase/emailspamdetection.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI