QAMPARI: An Open-domain Question Answering Benchmark for Questions with Many Answers from Multiple Paragraphs

要約

タイトル：QAMPARI：複数の段落からの多数の回答を持つ質問のためのオープンドメイン質問応答ベンチマーク

要約：

– 既存のオープンドメイン質問応答（ODQA）のベンチマークは、1つの段落から抜き出される回答に焦点を当てる傾向がある。
– 多くの自然な質問は、『ブルックリン・ネッツによってドラフトされた選手は誰ですか？』のように、複数の回答がある。
– このような質問に答えるには、大規模なコーパス内から多くのパッセージを検索し、読み取る必要がある。
– QAMPARIは、複数の段落にまたがるエンティティのリストを回答とするODQAベンチマークである。
– QAMPARIは、Wikipediaの知識グラフやテーブルからの複数回答の質問を生成し、回答に対する証拠をWikipediaの段落と自動的にペアリングし、質問の言い換えと各回答の正当性の手動検証を行うことで作成された。
– retrieve-and-readファミリーのODQAモデルをトレーニングして、 QAMPARIは、パッセージ検索と回答生成の両方の面で挑戦的であり、最高でF1スコア32.8に達した。
– 私たちの結果は、単一および複数回答の質問を含む幅広い質問タイプを扱うODQAモデルの開発の必要性を強調している。

要約(オリジナル)

Existing benchmarks for open-domain question answering (ODQA) typically focus on questions whose answers can be extracted from a single paragraph. By contrast, many natural questions, such as ‘What players were drafted by the Brooklyn Nets?’ have a list of answers. Answering such questions requires retrieving and reading from many passages, in a large corpus. We introduce QAMPARI, an ODQA benchmark, where question answers are lists of entities, spread across many paragraphs. We created QAMPARI by (a) generating questions with multiple answers from Wikipedia’s knowledge graph and tables, (b) automatically pairing answers with supporting evidence in Wikipedia paragraphs, and (c) manually paraphrasing questions and validating each answer. We train ODQA models from the retrieve-and-read family and find that QAMPARI is challenging in terms of both passage retrieval and answer generation, reaching an F1 score of 32.8 at best. Our results highlight the need for developing ODQA models that handle a broad range of question types, including single and multi-answer questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI