FairytaleQA Translated: Enabling Educational Question and Answer Generation in Less-Resourced Languages

要約

質問応答 (QA) データセットは、機械と人間の両方の読解スキルを評価する上で重要です。
この目的のために多数のデータセットが英語で開発されていますが、リソースの少ない言語では顕著な空白が存在します。
このギャップを軽減するために、私たちの論文では、幼児の物語理解スキルを評価し強化するために設計された有名な QA データセットである FairytaleQA の機械翻訳版を紹介します。
微調整された適度なスケールのモデルを採用することで、翻訳されたデータセット内の質問生成 (QG) タスクと QA タスクの両方のベンチマークを確立します。
さらに、質問の整形式性、回答可能性、関連性、子供への適合性などの品質指標を組み込んだ評価を使用して、質問と回答のペアを生成するモデルを提案するケーススタディを紹介します。
私たちの評価では、将来の作業への指示を提供するとともに、エラーケースを定量化して説明することが優先されます。
この論文は、リソースの少ない言語での QA および QG 研究の進歩に貢献し、読解のためのこれらのモデルの開発におけるアクセシビリティと包括性を促進します。
コードとデータは、github.com/bernardoleite/fairytaleqa-translate で公開されています。

要約(オリジナル)

Question Answering (QA) datasets are crucial in assessing reading comprehension skills for both machines and humans. While numerous datasets have been developed in English for this purpose, a noticeable void exists in less-resourced languages. To alleviate this gap, our paper introduces machine-translated versions of FairytaleQA, a renowned QA dataset designed to assess and enhance narrative comprehension skills in young children. By employing fine-tuned, modest-scale models, we establish benchmarks for both Question Generation (QG) and QA tasks within the translated datasets. In addition, we present a case study proposing a model for generating question-answer pairs, with an evaluation incorporating quality metrics such as question well-formedness, answerability, relevance, and children suitability. Our evaluation prioritizes quantifying and describing error cases, along with providing directions for future work. This paper contributes to the advancement of QA and QG research in less-resourced languages, promoting accessibility and inclusivity in the development of these models for reading comprehension. The code and data is publicly available at github.com/bernardoleite/fairytaleqa-translated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google