Breaking the Bank with ChatGPT: Few-Shot Text Classification for Finance

要約

私たちは、Banking77 データセットを使用した金融分野での簡単かつ迅速な少数ショット テキスト分類のための会話型 GPT モデルの使用を提案します。
私たちのアプローチには、GPT-3.5 および GPT-4 を使用したインコンテキスト学習が含まれており、必要な技術的専門知識を最小限に抑え、高価な GPU コンピューティングの必要性を排除しながら、迅速かつ正確な結果をもたらします。
さらに、最近の対照学習手法である SetFit を使用して他の事前トレーニング済みのマスクされた言語モデルを微調整し、フルデータ設定と少数ショット設定の両方で最先端の結果を達成します。
私たちの調査結果は、GPT-3.5 および GPT-4 のクエリは、例が少ない場合でも、微調整された非生成モデルよりも優れたパフォーマンスを発揮できることを示しています。
ただし、これらのソリューションに関連するサブスクリプション料金は、小規模な組織にとっては高価であると考えられる場合があります。
最後に、生成モデルは、ランダムなサンプルを表示するよりも、人間の専門家によって選択された代表的なサンプルを表示する方が、特定のタスクでより良いパフォーマンスを発揮することがわかりました。
私たちは、a) 私たちが提案した方法は、ラベルの利用可能性が限られているデータセットにおける数ショットのタスクに対する実用的なソリューションを提供し、b) 私たちの最先端の結果は、この分野での将来の研究にインスピレーションを与える可能性があると結論付けています。

要約(オリジナル)

We propose the use of conversational GPT models for easy and quick few-shot text classification in the financial domain using the Banking77 dataset. Our approach involves in-context learning with GPT-3.5 and GPT-4, which minimizes the technical expertise required and eliminates the need for expensive GPU computing while yielding quick and accurate results. Additionally, we fine-tune other pre-trained, masked language models with SetFit, a recent contrastive learning technique, to achieve state-of-the-art results both in full-data and few-shot settings. Our findings show that querying GPT-3.5 and GPT-4 can outperform fine-tuned, non-generative models even with fewer examples. However, subscription fees associated with these solutions may be considered costly for small organizations. Lastly, we find that generative models perform better on the given task when shown representative samples selected by a human expert rather than when shown random ones. We conclude that a) our proposed methods offer a practical solution for few-shot tasks in datasets with limited label availability, and b) our state-of-the-art results can inspire future work in the area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google