Fine-Tuned ‘Small’ LLMs (Still) Significantly Outperform Zero-Shot Generative AI Models in Text Classification

要約

Generative AI は、テキスト分類タスク用に小規模な BERT スタイル LLM を微調整するための、シンプルでプロンプトベースの代替手段を提供します。
これにより、手動でラベル付けされたトレーニング データやタスク固有のモデル トレーニングの必要性がなくなることが期待されます。
ただし、ChatGPT のようなツールがこの約束を果たすことができるかどうかは未解決の疑問のままです。
この論文では、テキスト分類において、より小規模で微調整された LLM が（依然として）より大きなゼロショット プロンプト モデルよりも一貫して大幅に優れていることを示します。
3 つの主要な生成 AI モデル (ChatGPT with GPT-3.5/GPT-4 および Claude Opus) を、さまざまな分類タスク (感情、承認/不承認、感情、当事者の立場) およびテキスト カテゴリ (
ニュース、ツイート、スピーチ）。
アプリケーション固有のトレーニング データを使用して微調整すると、あらゆるケースで優れたパフォーマンスが達成されることがわかりました。
このアプローチをより多くの読者が利用できるようにするために、この文書とともに使いやすいツールキットを提供します。
当社のツールキットには、非技術的なステップバイステップのガイダンスが付属しており、ユーザーは最小限の技術的および計算的労力で、あらゆる分類タスクに合わせて BERT のような LLM を選択し、微調整することができます。

要約(オリジナル)

Generative AI offers a simple, prompt-based alternative to fine-tuning smaller BERT-style LLMs for text classification tasks. This promises to eliminate the need for manually labeled training data and task-specific model training. However, it remains an open question whether tools like ChatGPT can deliver on this promise. In this paper, we show that smaller, fine-tuned LLMs (still) consistently and significantly outperform larger, zero-shot prompted models in text classification. We compare three major generative AI models (ChatGPT with GPT-3.5/GPT-4 and Claude Opus) with several fine-tuned LLMs across a diverse set of classification tasks (sentiment, approval/disapproval, emotions, party positions) and text categories (news, tweets, speeches). We find that fine-tuning with application-specific training data achieves superior performance in all cases. To make this approach more accessible to a broader audience, we provide an easy-to-use toolkit alongside this paper. Our toolkit, accompanied by non-technical step-by-step guidance, enables users to select and fine-tune BERT-like LLMs for any classification task with minimal technical and computational effort.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google