Language Models for Text Classification: Is In-Context Learning Enough?

要約

最近の基本的な言語モデルは、ゼロショットまたは数ショット設定の多くの NLP タスクで最先端のパフォーマンスを示しています。
微調整に基づくより標準的なアプローチに対するこれらのモデルの利点は、自然言語で書かれた指示 (プロンプト) を理解できることであり、これにより、特定のトレーニング データを必要とせずに、さまざまなタスクやドメインにモデルをより適切に一般化することができます。
これにより、注釈付きインスタンスの量が限られたドメインのテキスト分類問題に対処するのに適しています。
しかし、既存の研究は規模が限られており、プロンプト手法と組み合わせたテキスト生成モデルと、マスクされた言語モデルの微調整などのより確立されたテキスト分類方法とをどのように比較するかについての理解が不足しています。
この論文では、バイナリ、マルチクラス、およびマルチラベルの問題をカバーする 16 のテキスト分類データセットに対して大規模な評価研究を実行することで、この研究ギャップに対処します。
特に、大規模な言語モデルのゼロショットおよび少数ショットのアプローチと、より小さな言語モデルの微調整を比較します。
また、プロンプト、分類タイプ、ドメイン、ラベルの数ごとに結果を分析します。
一般に、この結果は、より小さく効率的な言語モデルを微調整する方が、テキスト分類に関しては改善の余地がある、大規模な言語モデルの少数ショット アプローチよりも優れたパフォーマンスを発揮できることを示しています。

要約(オリジナル)

Recent foundational language models have shown state-of-the-art performance in many NLP tasks in zero- and few-shot settings. An advantage of these models over more standard approaches based on fine-tuning is the ability to understand instructions written in natural language (prompts), which helps them generalise better to different tasks and domains without the need for specific training data. This makes them suitable for addressing text classification problems for domains with limited amounts of annotated instances. However, existing research is limited in scale and lacks understanding of how text generation models combined with prompting techniques compare to more established methods for text classification such as fine-tuning masked language models. In this paper, we address this research gap by performing a large-scale evaluation study for 16 text classification datasets covering binary, multiclass, and multilabel problems. In particular, we compare zero- and few-shot approaches of large language models to fine-tuning smaller language models. We also analyse the results by prompt, classification type, domain, and number of labels. In general, the results show how fine-tuning smaller and more efficient language models can still outperform few-shot approaches of larger language models, which have room for improvement when it comes to text classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google