ContrastNER: Contrastive-based Prompt Tuning for Few-shot NER

要約

プロンプトベースの言語モデルは、固有表現認識 (NER) タスクを含む多くのアプリケーションで有望な結果を生み出しています。
NER は、文内のエンティティを識別し、そのタイプを提供することを目的としています。
ただし、利用可能なほとんどの NER アプローチの強力なパフォーマンスは、個別のプロンプトと、モデルによって予測された出力をエンティティ カテゴリにマッピングする言語化ツールの設計に大きく依存しており、これは複雑な作業です。
これらの課題に対処するために、プロンプトで離散トークンと連続トークンの両方を使用し、連続プロンプトと予測エンティティ タイプを学習するために対照学習アプローチを使用する、プロンプト ベースの NER フレームワークである ContrastNER を紹介します。
実験結果は、ContrastNER が、大規模な手動プロンプト エンジニアリングやバーバライザ設計を必要とせずに、高リソース環境では最先端の NER 手法に匹敵するパフォーマンスを獲得し、低リソース環境では最先端モデルを上回るパフォーマンスを発揮することを示しています。
。

要約(オリジナル)

Prompt-based language models have produced encouraging results in numerous applications, including Named Entity Recognition (NER) tasks. NER aims to identify entities in a sentence and provide their types. However, the strong performance of most available NER approaches is heavily dependent on the design of discrete prompts and a verbalizer to map the model-predicted outputs to entity categories, which are complicated undertakings. To address these challenges, we present ContrastNER, a prompt-based NER framework that employs both discrete and continuous tokens in prompts and uses a contrastive learning approach to learn the continuous prompts and forecast entity types. The experimental results demonstrate that ContrastNER obtains competitive performance to the state-of-the-art NER methods in high-resource settings and outperforms the state-of-the-art models in low-resource circumstances without requiring extensive manual prompt engineering and verbalizer design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google