Revisiting Dense Retrieval with Unanswerable Counterfactuals

要約

【タイトル】
– Unanswerable Counterfactualsを用いたDense Retrievalの再検討

【要約】
– Open-domain question answering (ODQA)のためには、リトリーバーが大規模な文章群から関連性の高い候補をリーダーに紹介することが一般的である。
– この方法の背後にある仮定は、リトリーバーが高い関連性スコアを選んだ場合、リーダーがそのパスエージを読んで問題の答えを見つける可能性が高いということである。
– しかし、この作業で、Counterfactualを用いた最近のモデルであるDPRによる密なリトリーバーが、誤った候補を選択してしまう傾向にあることが分かった。
– その対策として、本論文では、DPRが回答可能性を無視する傾向を解消するためにCounterfactualサンプルを追加のトレーニングリソースとして使用している。
– 具体的には、Counterfactually-Pivoting Contrastive Learning (PiCL)という新しい表現学習アプローチを提供しており、embleing space内で正と負のサンプル間でピボットとしてCounterfactualサンプルを利用することでパッシュのリトリーバル能力を向上させている。
– PiCLをリトリーバートレーニングに組み込むことで、ODQAベンチマークと学習モデルの堅固性に対するPiCLの効果を示している。

要約(オリジナル)

The retriever-reader framework is popular for open-domain question answering (ODQA), where a retriever samples for the reader a set of relevant candidate passages from a large corpus. A key assumption behind this method is that high relevance scores from the retriever likely indicate high answerability from the reader, which implies a high probability that the retrieved passages contain answers to a given question. In this work, we empirically dispel this belief and observe that recent dense retrieval models based on DPR often rank unanswerable counterfactual passages higher than their answerable original passages. To address such answer-unawareness in dense retrievers, we seek to use counterfactual samples as additional training resources to better synchronize the relevance measurement of DPR with the answerability of question-passage pairs. Specifically, we present counterfactually-Pivoting Contrastive Learning (PiCL), a novel representation learning approach for passage retrieval that leverages counterfactual samples as pivots between positive and negative samples in their learned embedding space. We incorporate PiCL into the retriever training to show the effectiveness of PiCL on ODQA benchmarks and the robustness of the learned models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI