SemEval-2023 Task 2: Fine-grained Multilingual Named Entity Recognition (MultiCoNER 2)

要約

きめ細かい多言語固有表現認識 (MultiCoNER 2) に関する SemEval-2023 タスク 2 の結果を紹介します。
13 のトラックに分割されたこのタスクは、12 言語にわたって、単言語シナリオと多言語シナリオ、およびノイズの多い環境で、複雑で細かい名前付きエンティティ (WRITTENWORK、VEHICLE、MUSICALGRP など) を識別する方法に焦点を当てました。
このタスクでは、バングラ語、中国語、英語、ペルシア語、フランス語、ドイツ語、ヒンディー語、イタリア語、ポルトガル語、スペイン語、スウェーデン語、ウクライナ語の 220 万件のインスタンスで構成される MultiCoNER V2 データセットを使用しました。
MultiCoNER 2 は、SemEval-2023 で最も人気のあるタスクの 1 つでした。
47 チームから 842 件の応募が集まり、34 チームがシステム ペーパーを提出しました。
結果は、メディア タイトルや製品名などの複雑なエンティティ タイプが最も困難であることを示しました。
外部知識を変圧器モデルに融合する方法が最高のパフォーマンスを達成し、最大の成果はクリエイティブ ワーク クラスとグループ クラスであり、外部知識があってもなお困難でした。
SCIENTIST、ARTWORK、PRIVATECORP など、粒度の細かいクラスの中には、他のクラスよりも難しいことが判明しました。
また、ノイズの多いデータがモデルのパフォーマンスに重大な影響を及ぼし、ノイズの多いサブセットでは平均 10% の低下があることも観察されました。
このタスクは、複雑なエンティティを含むノイズの多いデータに対する NER の堅牢性を向上させるための将来の研究の必要性を強調しています。

要約(オリジナル)

We present the findings of SemEval-2023 Task 2 on Fine-grained Multilingual Named Entity Recognition (MultiCoNER 2). Divided into 13 tracks, the task focused on methods to identify complex fine-grained named entities (like WRITTENWORK, VEHICLE, MUSICALGRP) across 12 languages, in both monolingual and multilingual scenarios, as well as noisy settings. The task used the MultiCoNER V2 dataset, composed of 2.2 million instances in Bangla, Chinese, English, Farsi, French, German, Hindi, Italian., Portuguese, Spanish, Swedish, and Ukrainian. MultiCoNER 2 was one of the most popular tasks of SemEval-2023. It attracted 842 submissions from 47 teams, and 34 teams submitted system papers. Results showed that complex entity types such as media titles and product names were the most challenging. Methods fusing external knowledge into transformer models achieved the best performance, and the largest gains were on the Creative Work and Group classes, which are still challenging even with external knowledge. Some fine-grained classes proved to be more challenging than others, such as SCIENTIST, ARTWORK, and PRIVATECORP. We also observed that noisy data has a significant impact on model performance, with an average drop of 10% on the noisy subset. The task highlights the need for future research on improving NER robustness on noisy data containing complex entities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google