Sebastian, Basti, Wastl?! Recognizing Named Entities in Bavarian Dialectal Data

要約

固有表現認識 (NER) は、テキストから重要な情報を抽出する基本的なタスクですが、方言については注釈付きのリソースが不足しています。
この論文では、ドイツ語の最初の方言 NER データセットである BarNER を紹介します。このデータセットは、ドイツ語の CoNLL 2006 と GermEval から適応したスキーマを使用して、バイエルン州の Wikipedia 記事 (bar-wiki) とツイート (bar-tweet) に注釈が付けられた 161,000 個のトークンを備えています。
バイエルン方言は、語彙分布、構文構築、実体情報の点で標準ドイツ語とは異なります。
私たちは、2 つのバイエルン語コーパスと 3 つのドイツ語コーパスに対してドメイン内、クロスドメイン、逐次および共同実験を実施し、バイエルン語に関する最初の包括的な NER 結果を発表します。
大規模なドイツの NER (サブ) データセットからの知識を組み込むと、バー ウィキでは顕著に改善され、バー ツイートでは中程度の改善が見られます。
逆に、バイエルン語を最初にトレーニングすると、独創的なドイツ語 CoNLL 2006 コーパスにわずかに貢献します。
さらに、バイエルン語のツイートにゴールドの方言ラベルを付けることで、5 つの NER タスクと 2 つのバイエルン・ドイツ語方言識別タスク間のマルチタスク学習を評価し、bar-wiki で NER SOTA を達成します。
私たちは、低リソースの BarNER コーパスの必要性と、モデルのパフォーマンスを向上させる上での方言、ジャンル、トピックの多様性の重要性を実証します。

要約(オリジナル)

Named Entity Recognition (NER) is a fundamental task to extract key information from texts, but annotated resources are scarce for dialects. This paper introduces the first dialectal NER dataset for German, BarNER, with 161K tokens annotated on Bavarian Wikipedia articles (bar-wiki) and tweets (bar-tweet), using a schema adapted from German CoNLL 2006 and GermEval. The Bavarian dialect differs from standard German in lexical distribution, syntactic construction, and entity information. We conduct in-domain, cross-domain, sequential, and joint experiments on two Bavarian and three German corpora and present the first comprehensive NER results on Bavarian. Incorporating knowledge from the larger German NER (sub-)datasets notably improves on bar-wiki and moderately on bar-tweet. Inversely, training first on Bavarian contributes slightly to the seminal German CoNLL 2006 corpus. Moreover, with gold dialect labels on Bavarian tweets, we assess multi-task learning between five NER and two Bavarian-German dialect identification tasks and achieve NER SOTA on bar-wiki. We substantiate the necessity of our low-resource BarNER corpus and the importance of diversity in dialects, genres, and topics in enhancing model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google