(QA)$^2$: Question Answering with Questionable Assumptions

要約

情報を求める自然発生的な質問には、多くの場合、疑わしい仮定、つまり虚偽または検証不可能な仮定が含まれています。
疑わしい仮定を含む質問は、情報を求める質問の典型的な回答から逸脱した明確な回答戦略を必要とするため、困難です。
たとえば、「キュリー夫人はいつウランを発見しましたか?」という質問です。
「マリ・キュリーがウランを発見した」という誤った仮定に対処せずに、典型的な「いつ」の質問として答えることはできません。
この研究では、(QA)$^2$ (Question Answering with Questionable Assumptions) を提案します。これは、疑わしい仮定を含む場合と含まない場合がある、自然に発生する検索エンジン クエリで構成されるオープンドメインの評価データセットです。
(QA)$^2$ で成功するには、システムが疑わしい仮定を検出でき、また、典型的な情報を求める質問と疑わしい仮定を持つ質問の両方に対して適切な応答を生成できなければなりません。
(QA)$^2$ によるエンドツーエンドの QA における人間の評価者の受容性を通じて、現在のモデルは疑わしい仮定の処理に苦労しており、進歩の余地がかなり残っていることがわかります。

要約(オリジナル)

Naturally occurring information-seeking questions often contain questionable assumptions — assumptions that are false or unverifiable. Questions containing questionable assumptions are challenging because they require a distinct answer strategy that deviates from typical answers for information-seeking questions. For instance, the question ‘When did Marie Curie discover Uranium?’ cannot be answered as a typical ‘when’ question without addressing the false assumption ‘Marie Curie discovered Uranium’. In this work, we propose (QA)$^2$ (Question Answering with Questionable Assumptions), an open-domain evaluation dataset consisting of naturally occurring search engine queries that may or may not contain questionable assumptions. To be successful on (QA)$^2$, systems must be able to detect questionable assumptions and also be able to produce adequate responses for both typical information-seeking questions and ones with questionable assumptions. Through human rater acceptability on end-to-end QA with (QA)$^2$, we find that current models do struggle with handling questionable assumptions, leaving substantial headroom for progress.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google