Causal Interventions-based Few-Shot Named Entity Recognition

要約

タイトル：因果関係に基づく短い学習データでの固有表現認識

要約：
– 短い学習データに基づく固有表現認識（NER）システムは、わずかなラベル付きサンプルに基づいて、新しいクラスのエンティティを認識することを目的としています。
– 経験の少ないレジメンの課題は、豊富なサンプルを持つタスクよりも過剰適合しやすいことです。
– また、少しのサンプル選択バイアスによる偽の相関によって主に引き起こされる少数の学習の過剰適合も重大な問題です。
– 少数の学習の偽の相関の問題を緩和するために、本論文では、因果関係に基づく少数の学習NER方法を提唱しています。
– 原型ネットワークに基づいて、この方法はトレーニング中にコンテキストとプロトタイプをバックドア調整を介して介入します。
– 特に、ワンショットシナリオの文脈に介入することは非常に困難ですので、私達はカタストロフィックな忘却を回避できるインクリメンタルラーニングを介して原型に介入します。
– 異なるベンチマークに関する実験は、私たちの手法が新しい最先端の結果を達成することを示しています（すべてのタスクに対して平均で12％、最大で29％の絶対的な改善を達成）。

要約(オリジナル)

Few-shot named entity recognition (NER) systems aims at recognizing new classes of entities based on a few labeled samples. A significant challenge in the few-shot regime is prone to overfitting than the tasks with abundant samples. The heavy overfitting in few-shot learning is mainly led by spurious correlation caused by the few samples selection bias. To alleviate the problem of the spurious correlation in the few-shot NER, in this paper, we propose a causal intervention-based few-shot NER method. Based on the prototypical network, the method intervenes in the context and prototype via backdoor adjustment during training. In particular, intervening in the context of the one-shot scenario is very difficult, so we intervene in the prototype via incremental learning, which can also avoid catastrophic forgetting. Our experiments on different benchmarks show that our approach achieves new state-of-the-art results (achieving up to 29% absolute improvement and 12% on average for all tasks).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI