From Multiple-Choice to Extractive QA: A Case Study for English and Arabic

要約

自然言語処理 (NLP) の急速な進化により、英語などの主要言語が好まれてきましたが、リソースが限られているため、他の多くの言語には大きな差が残されています。
これは、重要性を過小評価することはできませんが、時間とコストがかかるタスクであるデータ アノテーションのコンテキストで特に顕著です。
したがって、リソースに乏しい言語のデータセットは、特にタスク固有の場合に貴重です。
ここでは、既存の多言語データセットを新しい NLP タスクに再利用する可能性を検討します。多肢選択質問応答 (MCQA) 用に設計された BELEBELE データセット (Bandarkar et al., 2023) のサブセットを再利用して、
機械読解形式の抽出的 QA (EQA) というより実用的なタスクです。
英語と現代標準アラビア語 (MSA) のアノテーション ガイドラインと並列 EQA データセットを紹介します。
また、英語、MSA、および 5 つのアラビア語方言を含む、いくつかの単一言語および複数言語の QA ペアの QA 評価結果も示します。
私たちは、残りの 120 の BELEBELE 言語バリアント (その多くはリソースが不足していると考えられます) に対して他の人が私たちのアプローチを適応できるよう支援することを目指しています。
また、NLP タスクの再構築における課題と機会についての理解を深めるために、徹底的な分析を提供し、洞察を共有します。

要約(オリジナル)

The rapid evolution of Natural Language Processing (NLP) has favoured major languages such as English, leaving a significant gap for many others due to limited resources. This is especially evident in the context of data annotation, a task whose importance cannot be underestimated, but which is time-consuming and costly. Thus, any dataset for resource-poor languages is precious, in particular when it is task-specific. Here, we explore the feasibility of repurposing an existing multilingual dataset for a new NLP task: we repurpose a subset of the BELEBELE dataset (Bandarkar et al., 2023), which was designed for multiple-choice question answering (MCQA), to enable the more practical task of extractive QA (EQA) in the style of machine reading comprehension. We present annotation guidelines and a parallel EQA dataset for English and Modern Standard Arabic (MSA). We also present QA evaluation results for several monolingual and cross-lingual QA pairs including English, MSA, and five Arabic dialects. We aim to help others adapt our approach for the remaining 120 BELEBELE language variants, many of which are deemed under-resourced. We also provide a thorough analysis and share insights to deepen understanding of the challenges and opportunities in NLP task reformulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google