TIGQA:An Expert Annotated Question Answering Dataset in Tigrinya

要約

教育目的で明示的に調整され、アクセス可能なアノテーション付きデータセットが存在しないことは、リソースが限られている言語での NLP タスクにとって顕著な障害となります。この研究では、まず、機械翻訳 (MT) を使用して既存のデータセットを SQuAD 形式のティグリニャ データセットに変換する実現可能性を調査します。
。
その結果、我々は、気候、水、交通などの 122 の多様なトピックをカバーする 268,000 の質問と回答のペアで構成される専門家の注釈付き教育データセットである TIGQA を紹介します。
これらのペアは、一般にアクセス可能なティグリニャと生物学の書籍にある 537 の文脈の段落からのものです。
包括的な分析を通じて、TIGQA データセットには単純な単語の一致を超えたスキルが必要であり、単一文と複数文の両方の推論能力が必要であることが実証されました。
私たちは最先端の MRC 手法を使用して実験を実施し、TIGQA でそのようなモデルを初めて探索しました。
さらに、データセット上で人間のパフォーマンスを推定し、事前トレーニングされたモデルから得られた結果と並べます。人間のパフォーマンスと最良のモデルのパフォーマンスの間の顕著な差異は、継続的な研究を通じて TIGQA がさらに強化される可能性を強調しています。
私たちのデータセットは、研究コミュニティがティグリニャ MRC の課題に取り組むことを奨励するために、提供されたリンクを介して自由にアクセスできます。

要約(オリジナル)

The absence of explicitly tailored, accessible annotated datasets for educational purposes presents a notable obstacle for NLP tasks in languages with limited resources.This study initially explores the feasibility of using machine translation (MT) to convert an existing dataset into a Tigrinya dataset in SQuAD format. As a result, we present TIGQA, an expert annotated educational dataset consisting of 2.68K question-answer pairs covering 122 diverse topics such as climate, water, and traffic. These pairs are from 537 context paragraphs in publicly accessible Tigrinya and Biology books. Through comprehensive analyses, we demonstrate that the TIGQA dataset requires skills beyond simple word matching, requiring both single-sentence and multiple-sentence inference abilities. We conduct experiments using state-of-the art MRC methods, marking the first exploration of such models on TIGQA. Additionally, we estimate human performance on the dataset and juxtapose it with the results obtained from pretrained models.The notable disparities between human performance and best model performance underscore the potential for further enhancements to TIGQA through continued research. Our dataset is freely accessible via the provided link to encourage the research community to address the challenges in the Tigrinya MRC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google