Label-Guided In-Context Learning for Named Entity Recognition

要約

コンテキスト内学習（ICL）により、大規模な言語モデル（LLM）は、いくつかのデモンストレーションのみを使用して新しいタスクを実行できます。
名前付きエンティティ認識（NER）では、テストインスタンスとのセマンティックな類似性に基づいて、デモンストレーションは通常、トレーニングラベルを無視し、最適ではないパフォーマンスをもたらします。
ICLパフォーマンスを改善するために、トークンレベルの統計を通じてトレーニングラベルを活用する新しい方法であるディアを紹介します。
ディアは、最初に、エンティティ認識に最も有益なトークンを優先するラベルガイドのトークンベースのレトリーバーで模範を強化します。
次に、LLMにエラーが発生しやすいトークンを再検討するように促します。これは、ラベル統計を使用して識別され、ターゲット補正を行います。
4つの異なるLLMを使用して5つのNERデータセットで評価された鹿は、既存のICLメソッドを常に上回り、監視された微調整のパフォーマンスに近づきます。
さらなる分析では、見られたエンティティと目に見えないエンティティの両方に対する有効性と、低リソース設定での堅牢性が示されています。

要約(オリジナル)

In-context learning (ICL) enables large language models (LLMs) to perform new tasks using only a few demonstrations. In Named Entity Recognition (NER), demonstrations are typically selected based on semantic similarity to the test instance, ignoring training labels and resulting in suboptimal performance. We introduce DEER, a new method that leverages training labels through token-level statistics to improve ICL performance. DEER first enhances example selection with a label-guided, token-based retriever that prioritizes tokens most informative for entity recognition. It then prompts the LLM to revisit error-prone tokens, which are also identified using label statistics, and make targeted corrections. Evaluated on five NER datasets using four different LLMs, DEER consistently outperforms existing ICL methods and approaches the performance of supervised fine-tuning. Further analysis shows its effectiveness on both seen and unseen entities and its robustness in low-resource settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google