Multilingual Non-Factoid Question Answering with Answer Paragraph Selection

要約

ほとんどの既存の質問回答データセット（QUAD）は、主に高リソース言語のファクトイドベースの短いコンテキスト質問応答（QA）に焦点を当てています。
ただし、低リソース言語のこのようなデータセットの範囲は限られたままであり、ファクトイドベースのクワッドを中心とした作品はわずかであり、非ファクトルクワッドにはありません。
したがって、この作業は、等型の質問を持つ多言語のクワッドであるMunfquadを示しています。
これは、BBCニュース記事の尋問を質問として、および対応する段落を銀の答えとして利用します。
データセットは、38の言語にわたって578kを超えるQAペアで構成され、いくつかの低リソース言語を含み、これまでで最大の多言語QAデータセットとして存在します。
Munfquad（Golden Set）の790 QAペアの手動注釈に基づいて、98 \％の質問に対応する銀の回答を使用して回答できることがわかります。
微調整された回答段落選択（APS）モデルは、ベースラインよりも優れています。
APSモデルは、Munfquadテストセットとゴールデンセットで、それぞれ80 \％と72 \％の精度を達成し、それぞれ72 \％と66 \％のマクロF1を達成しました。
さらに、APSモデルは、シルバーラベルで微調整された後でも、ゴールデンセット内の特定の言語を効果的に一般化します。
また、微調整されたAPSモデルは、質問のコンテキストを減らすのに有益であることも観察します。
これらの調査結果は、このリソースがQA研究コミュニティに貴重な貢献になることを示唆しています。

要約(オリジナル)

Most existing Question Answering Datasets (QuADs) primarily focus on factoid-based short-context Question Answering (QA) in high-resource languages. However, the scope of such datasets for low-resource languages remains limited, with only a few works centered on factoid-based QuADs and none on non-factoid QuADs. Therefore, this work presents MuNfQuAD, a multilingual QuAD with non-factoid questions. It utilizes interrogative sub-headings from BBC news articles as questions and the corresponding paragraphs as silver answers. The dataset comprises over 578K QA pairs across 38 languages, encompassing several low-resource languages, and stands as the largest multilingual QA dataset to date. Based on the manual annotations of 790 QA-pairs from MuNfQuAD (golden set), we observe that 98\% of questions can be answered using their corresponding silver answer. Our fine-tuned Answer Paragraph Selection (APS) model outperforms the baselines. The APS model attained an accuracy of 80\% and 72\%, as well as a macro F1 of 72\% and 66\%, on the MuNfQuAD testset and the golden set, respectively. Furthermore, the APS model effectively generalizes a certain language within the golden set, even after being fine-tuned on silver labels. We also observe that the fine-tuned APS model is beneficial for reducing the context of a question. These findings suggest that this resource would be a valuable contribution to the QA research community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google