Arabic Dialect Identification under Scrutiny: Limitations of Single-label Classification

要約

テキストの自動アラビア方言識別 (ADI) は、2010 年代初頭に導入されて以来、大きな人気を集めています。
複数のデータセットが開発され、2018 年から毎年共有タスクが実行されています。しかし、ADI システムはアラビア語の微小方言の区別に失敗していると報告されています。
私たちは、現在採用されている単一ラベル分類問題としての ADI タスクの枠組みがその主な理由の 1 つであると主張します。
私たちは、方言ラベルの不完全性の限界を強調し、それが ADI システムの評価にどのような影響を与えるかを実証します。
異なるアラビア語方言のネイティブ スピーカー 7 人によって行われた、ADI の予測に対する手動エラー分析では、検証されたエラーの $\約$ 66% が真のエラーではないことが明らかになりました。
したがって、マルチラベル分類タスクとして ADI をフレーム化することを提案し、新しい ADI データセットを設計するための推奨事項を提供します。

要約(オリジナル)

Automatic Arabic Dialect Identification (ADI) of text has gained great popularity since it was introduced in the early 2010s. Multiple datasets were developed, and yearly shared tasks have been running since 2018. However, ADI systems are reported to fail in distinguishing between the micro-dialects of Arabic. We argue that the currently adopted framing of the ADI task as a single-label classification problem is one of the main reasons for that. We highlight the limitation of the incompleteness of the Dialect labels and demonstrate how it impacts the evaluation of ADI systems. A manual error analysis for the predictions of an ADI, performed by 7 native speakers of different Arabic dialects, revealed that $\approx$ 66% of the validated errors are not true errors. Consequently, we propose framing ADI as a multi-label classification task and give recommendations for designing new ADI datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google