Making LLMs Worth Every Penny: Resource-Limited Text Classification in Banking

要約

NLP の標準的なフルデータ分類子は何千ものラベル付きサンプルを必要としますが、データが限られた領域では現実的ではありません。
フューショット法は、1 クラスあたりわずか 20 個の例で効果的な対比学習テクニックを利用した代替手段を提供します。
同様に、GPT-4 のような大規模言語モデル (LLM) は、クラスあたりわずか 1 ～ 5 個の例で効果的に実行できます。
ただし、これらの方法のパフォーマンスとコストのトレードオフは依然として解明されておらず、予算が限られている組織にとっては重大な懸念事項です。
私たちの研究では、包括的な少数ショット シナリオでの OpenAI、Cohere、Anthropic による最先端の LLM の評価を含む、Banking77 金融意図検出データセットに対する前述のアプローチを研究することで、このギャップに対処しています。
追加の 2 つの方法で全体像を完成させます。1 つは、古典的な少数ショットのアプローチと比較して運用コストを何倍も削減できる、検索拡張生成 (RAG) に基づく LLM のコスト効率の高いクエリ方法です。2 つ目は、データ拡張です。
GPT-4 を使用した方法で、データが制限されたシナリオでのパフォーマンスを向上させることができます。
最後に、将来の研究にインスピレーションを与えるために、人間の専門家が厳選した Banking77 のサブセットと広範なエラー分析を提供します。

要約(オリジナル)

Standard Full-Data classifiers in NLP demand thousands of labeled examples, which is impractical in data-limited domains. Few-shot methods offer an alternative, utilizing contrastive learning techniques that can be effective with as little as 20 examples per class. Similarly, Large Language Models (LLMs) like GPT-4 can perform effectively with just 1-5 examples per class. However, the performance-cost trade-offs of these methods remain underexplored, a critical concern for budget-limited organizations. Our work addresses this gap by studying the aforementioned approaches over the Banking77 financial intent detection dataset, including the evaluation of cutting-edge LLMs by OpenAI, Cohere, and Anthropic in a comprehensive set of few-shot scenarios. We complete the picture with two additional methods: first, a cost-effective querying method for LLMs based on retrieval-augmented generation (RAG), able to reduce operational costs multiple times compared to classic few-shot approaches, and second, a data augmentation method using GPT-4, able to improve performance in data-limited scenarios. Finally, to inspire future research, we provide a human expert’s curated subset of Banking77, along with extensive error analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google