FsPONER: Few-shot Prompt Optimization for Named Entity Recognition in Domain-specific Scenarios

要約

大規模な言語モデル（LLMS）は、名前付きエンティティ認識（NER）タスクの新しい経路を提供しています。
微調整と比較して、LLM駆動のプロンプト方法は、トレーニングの必要性を回避し、実質的な計算リソースを節約し、最小限の注釈データに依存します。
以前の研究では、一般的なNERベンチマークでの完全に監視されたBertベースの微調整アプローチと同等のパフォーマンスを達成しています。
ただし、以前のアプローチのいずれも、ドメイン固有のシナリオでのLLMベースの少ないショット学習の効率を調査していません。
このギャップに対処するために、FSPONERを紹介します。FSPONERは、少数のショットプロンプトを最適化するための新しいアプローチを紹介し、産業製造とメンテナンスに焦点を当て、GPT-4-32K、GPT-3.5-TURBO、LLAMA 2-CHAT、およびVICUNAを使用しながら、産業製造とメンテナンスに重点を置いて、ドメイン固有のNERデータセットのパフォーマンスを評価します。
FSPONERは、ランダムサンプリング、TF-IDFベクター、および両方の組み合わせに基づいた3つの少数の選択方法で構成されています。
これらの方法を、少数のショットの例の数が増加し、微調整されたBertおよびLlama 2-chatに対する最適なNERパフォーマンスを評価するため、これらの方法を汎用GPT-nerメソッドと比較します。
データ不足を備えた考慮された現実世界のシナリオでは、TF-IDFを備えたFSPONERは、F1スコアで微調整されたモデルを約10％上回ります。

要約(オリジナル)

Large Language Models (LLMs) have provided a new pathway for Named Entity Recognition (NER) tasks. Compared with fine-tuning, LLM-powered prompting methods avoid the need for training, conserve substantial computational resources, and rely on minimal annotated data. Previous studies have achieved comparable performance to fully supervised BERT-based fine-tuning approaches on general NER benchmarks. However, none of the previous approaches has investigated the efficiency of LLM-based few-shot learning in domain-specific scenarios. To address this gap, we introduce FsPONER, a novel approach for optimizing few-shot prompts, and evaluate its performance on domain-specific NER datasets, with a focus on industrial manufacturing and maintenance, while using multiple LLMs — GPT-4-32K, GPT-3.5-Turbo, LLaMA 2-chat, and Vicuna. FsPONER consists of three few-shot selection methods based on random sampling, TF-IDF vectors, and a combination of both. We compare these methods with a general-purpose GPT-NER method as the number of few-shot examples increases and evaluate their optimal NER performance against fine-tuned BERT and LLaMA 2-chat. In the considered real-world scenarios with data scarcity, FsPONER with TF-IDF surpasses fine-tuned models by approximately 10% in F1 score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google