Can a Multichoice Dataset be Repurposed for Extractive Question Answering?

要約

自然言語処理 (NLP) の急速な進化により、英語などの主要言語が好まれてきましたが、リソースが限られているため、他の多くの言語には大きな差が残されています。
これは、重要性を過小評価することはできませんが、時間とコストがかかるタスクであるデータ アノテーションのコンテキストで特に顕著です。
したがって、リソースに乏しい言語のデータセットは、特にタスク固有の場合に貴重です。
ここでは、既存のデータセットを新しい NLP タスクに再利用する実現可能性を検討します。多肢選択式質問応答 (MCQA) 用に設計された Belebele データセット (Bandarkar et al., 2023) を再利用して、抽出的 QA (EQA) を可能にしました。
機械読解のスタイルで。
英語と現代標準アラビア語 (MSA) のアノテーション ガイドラインと並列 EQA データセットを紹介します。
また、英語、MSA、および 5 つのアラビア語方言を含む、いくつかの単一言語および複数言語の QA ペアの QA 評価結果も示します。
私たちの目的は、他の人がベレベレの他の 120 以上の言語バリアントに私たちのアプローチを適応できるようにすることであり、その多くはリソースが不足していると考えられています。
また、徹底的な分析を実施し、そのプロセスから得た洞察を共有します。これにより、NLP 研究におけるタスクの再定式化に関連する課題と機会のより深い理解に貢献できると考えています。

要約(オリジナル)

The rapid evolution of Natural Language Processing (NLP) has favored major languages such as English, leaving a significant gap for many others due to limited resources. This is especially evident in the context of data annotation, a task whose importance cannot be underestimated, but which is time-consuming and costly. Thus, any dataset for resource-poor languages is precious, in particular when it is task-specific. Here, we explore the feasibility of repurposing existing datasets for a new NLP task: we repurposed the Belebele dataset (Bandarkar et al., 2023), which was designed for multiple-choice question answering (MCQA), to enable extractive QA (EQA) in the style of machine reading comprehension. We present annotation guidelines and a parallel EQA dataset for English and Modern Standard Arabic (MSA). We also present QA evaluation results for several monolingual and cross-lingual QA pairs including English, MSA, and five Arabic dialects. Our aim is to enable others to adapt our approach for the 120+ other language variants in Belebele, many of which are deemed under-resourced. We also conduct a thorough analysis and share our insights from the process, which we hope will contribute to a deeper understanding of the challenges and the opportunities associated with task reformulation in NLP research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google