mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view Contrastive Learning

要約

多言語固有表現認識 (CrossNER) は、特に英語以外のデータの場合、多言語コーパスの不足による不均一なパフォーマンスに起因する課題に直面しています。
これまでの取り組みは主にデータ駆動型の転送方法に焦点を当てていましたが、十分に検討されていない重要な側面は、多様な言語間でセマンティック表現とトークンレベル表現の両方を調整することです。
この論文では、言語を超えた固有表現認識のための多視点対照学習 (mCL-NER) を提案します。
具体的には、CrossNER タスクをトークンのペア間の関係を認識する問題に再構成します。
このアプローチは、エンティティ内のトークン間の接続に固有の文脈上のニュアンスを利用し、異なる言語間で表現を調整できるようにします。
マルチビュー対比学習フレームワークは、ソース文、コードスイッチされた文、ターゲット文の間の意味論的な対比、およびトークン間の関係間の対比を包含するために導入されています。
意味空間と関係空間の両方で合意を強制することにより、ソース文と、コードスイッチされた文とターゲット文の両方の対応部分との間のギャップを最小限に抑えます。
この調整は、さまざまなトークン間の関係にまで拡張され、言語間でのエンティティの投影が強化されます。
自己トレーニングとラベル付きソース データおよびラベルなしターゲット データを組み合わせることにより、CrossNER をさらに強化します。
40 言語にわたる XTREME ベンチマークでの私たちの実験では、以前のデータ駆動型およびモデルベースのアプローチに対する mCL-NER の優位性が実証されました。
幅広い範囲で $F_1$ スコアがほぼ +2.0 という大幅な増加を達成し、新たな最先端のパフォーマーとしての地位を確立しました。

要約(オリジナル)

Cross-lingual named entity recognition (CrossNER) faces challenges stemming from uneven performance due to the scarcity of multilingual corpora, especially for non-English data. While prior efforts mainly focus on data-driven transfer methods, a significant aspect that has not been fully explored is aligning both semantic and token-level representations across diverse languages. In this paper, we propose Multi-view Contrastive Learning for Cross-lingual Named Entity Recognition (mCL-NER). Specifically, we reframe the CrossNER task into a problem of recognizing relationships between pairs of tokens. This approach taps into the inherent contextual nuances of token-to-token connections within entities, allowing us to align representations across different languages. A multi-view contrastive learning framework is introduced to encompass semantic contrasts between source, codeswitched, and target sentences, as well as contrasts among token-to-token relations. By enforcing agreement within both semantic and relational spaces, we minimize the gap between source sentences and their counterparts of both codeswitched and target sentences. This alignment extends to the relationships between diverse tokens, enhancing the projection of entities across languages. We further augment CrossNER by combining self-training with labeled source data and unlabeled target data. Our experiments on the XTREME benchmark, spanning 40 languages, demonstrate the superiority of mCL-NER over prior data-driven and model-based approaches. It achieves a substantial increase of nearly +2.0 $F_1$ scores across a broad spectrum and establishes itself as the new state-of-the-art performer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google