Exploring Small Language Models with Prompt-Learning Paradigm for Efficient Domain-Specific Text Classification

要約

ドメイン固有のテキスト分類は、手動ラベル付けのコストが高いため、ラベル付きデータが不足するという課題に直面しています。
プロンプト学習は、ショット数が少ないシナリオでの効率性で知られており、従来の微調整方法の代替として提案されています。
さらに、大規模言語モデル (LLM) が注目を集めていますが、小規模言語モデル (SLM、パラメータが 1B 未満) は、業界の制約を考慮すると、ドメイン固有のタスクに対して大幅なカスタマイズ性、適応性、費用対効果を提供します。
この研究では、特に小売業における顧客とエージェントのやり取りにおいて、ドメイン固有のテキスト分類のための即時学習パラダイムと組み合わせた SLM の可能性を調査します。
私たちの評価では、プロンプトベースのモデル微調整が可能な数ショット設定では、2 億 2,000 万のパラメーターを備えた典型的な SLM である T5 ベースが、限られたラベル付きデータ (全データの最大 15%) で約 75% の精度を達成することが示されています。
これは、即時学習を備えた SLM の大きな可能性を示しています。
これに基づいて、顕著なパフォーマンスの向上に貢献する、即時学習パイプラインにおけるアクティブな少数ショット サンプリングとアンサンブル戦略の有効性をさらに検証します。
さらに、固定モデルを使用したゼロショット設定では、約 154B パラメーターを備えた GPT-3.5 ターボは 55.16% の精度を獲得しますが、FLAN-
GPT-3.5-turbo のパラメータのわずか 0.5% を備えたモデルである T5-large は、最適化されたプロンプトを使用すると 31% を超える精度を達成し、最適化されていない場合の 18% 未満のパフォーマンスから大きく飛躍しました。
私たちの調査結果は、SLM を使用した分類タスクでの即時学習の可能性を強調し、アクティブな少数ショット サンプリングと少数ショット設定でのアンサンブル戦略の利点、およびゼロショット設定での迅速なエンジニアリングの重要性を強調しています。

要約(オリジナル)

Domain-specific text classification faces the challenge of scarce labeled data due to the high cost of manual labeling. Prompt-learning, known for its efficiency in few-shot scenarios, is proposed as an alternative to traditional fine-tuning methods. And besides, although large language models (LLMs) have gained prominence, small language models (SLMs, with under 1B parameters) offer significant customizability, adaptability, and cost-effectiveness for domain-specific tasks, given industry constraints. In this study, we investigate the potential of SLMs combined with prompt-learning paradigm for domain-specific text classification, specifically within customer-agent interactions in retail. Our evaluations show that, in few-shot settings when prompt-based model fine-tuning is possible, T5-base, a typical SLM with 220M parameters, achieve approximately 75% accuracy with limited labeled data (up to 15% of full data), which shows great potentials of SLMs with prompt-learning. Based on this, We further validate the effectiveness of active few-shot sampling and the ensemble strategy in the prompt-learning pipeline that contribute to a remarkable performance gain. Besides, in zero-shot settings with a fixed model, we underscore a pivotal observation that, although the GPT-3.5-turbo equipped with around 154B parameters garners an accuracy of 55.16%, the power of well designed prompts becomes evident when the FLAN-T5-large, a model with a mere 0.5% of GPT-3.5-turbo’s parameters, achieves an accuracy exceeding 31% with the optimized prompt, a leap from its sub-18% performance with an unoptimized one. Our findings underscore the promise of prompt-learning in classification tasks with SLMs, emphasizing the benefits of active few-shot sampling, and ensemble strategies in few-shot settings, and the importance of prompt engineering in zero-shot settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google