One Model for All Domains: Collaborative Domain-Prefix Tuning for Cross-Domain NER

要約

クロスドメイン NER は、実際のシナリオでリソース不足の問題に対処するための困難なタスクです。
以前の典型的なソリューションは主に、豊富なリソース ドメインからのデータを使用して事前トレーニング済みの言語モデル (PLM) によって NER モデルを取得し、それをターゲット ドメインに適応させていました。
異なるドメイン内のエンティティ タイプ間の不一致の問題により、以前のアプローチでは通常、PLM のすべてのパラメーターを調整し、最終的に各ドメインに対してまったく新しい NER モデルを作成していました。
さらに、現在のモデルは、1 つの一般的なソース ドメインで知識を活用することにのみ焦点を当てており、複数のソースからターゲットに知識をうまく転送できていません。
これらの問題に対処するために、テキストからテキストへの生成 PLM に基づくクロスドメイン NER (CP-NER) 用のコラボレーティブ ドメイン プレフィックス チューニングを導入します。
具体的には、テキストからテキストへの生成接地ドメイン関連のインストラクターを紹介し、構造を変更せずに知識を新しいドメイン NER タスクに移します。
凍結された PLM を利用し、協調的なドメイン プレフィックス チューニングを実施して、さまざまなドメインで NER タスクを処理する PLM の可能性を刺激します。
クロス NER ベンチマークの実験結果は、提案されたアプローチが柔軟な転送能力を持ち、1 つのソースと複数のソースのクロスドメイン NER タスクの両方で優れたパフォーマンスを発揮することを示しています。
コードは https://github.com/zjunlp/DeepKE/tree/main/example/ner/cross で入手できます。

要約(オリジナル)

Cross-domain NER is a challenging task to address the low-resource problem in practical scenarios. Previous typical solutions mainly obtain a NER model by pre-trained language models (PLMs) with data from a rich-resource domain and adapt it to the target domain. Owing to the mismatch issue among entity types in different domains, previous approaches normally tune all parameters of PLMs, ending up with an entirely new NER model for each domain. Moreover, current models only focus on leveraging knowledge in one general source domain while failing to successfully transfer knowledge from multiple sources to the target. To address these issues, we introduce Collaborative Domain-Prefix Tuning for cross-domain NER (CP-NER) based on text-to-text generative PLMs. Specifically, we present text-to-text generation grounding domain-related instructors to transfer knowledge to new domain NER tasks without structural modifications. We utilize frozen PLMs and conduct collaborative domain-prefix tuning to stimulate the potential of PLMs to handle NER tasks across various domains. Experimental results on the Cross-NER benchmark show that the proposed approach has flexible transfer ability and performs better on both one-source and multiple-source cross-domain NER tasks. Codes will be available in https://github.com/zjunlp/DeepKE/tree/main/example/ner/cross.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google