Revisiting Dense Retrieval with Unanswerable Counterfactuals

要約

タイトル：
– Unanswerable Counterfactualsを使ったDense Retrievalの再検討

要約：
– Open-domain question answering（ODQA）において、リトリーバーが大規模なコーパスから関連候補パッセージをリーダに選定するフレームワークは一般的に使われています。
– この方法の重要な仮定は、リトリーバーからの高い関連スコアは、リーダが答えられる可能性が高いことを示しているため、特定の質問に対して回答が含まれている可能性が高いということです。
– しかし、最近のDPRに基づく密集した検索モデルは、回答を含まない反事実的なパッセージを回答可能な元のパッセージよりも高くランク付けすることが多いことが実証的に判明しています。
– このような回答無視を解決するために、私たちは反事実的なサンプルを追加のトレーニングリソースとして使用し、DPRの関連性測定を質問-パッセージペアの回答可能性とよりよく同期させるための新しい表現学習手法であるCounterfactually-Pivoting Contrastive Learning（PiCL）を提案しています。
– 私たちはPiCLをリトリーバートレーニングに組み込んで、ODQAベンチマークと学習モデルの強健性におけるPiCLの効果を示しました。

要約(オリジナル)

The retriever-reader framework is popular for open-domain question answering (ODQA), where a retriever samples for the reader a set of relevant candidate passages from a large corpus. A key assumption behind this method is that high relevance scores from the retriever likely indicate high answerability from the reader, which implies a high probability that the retrieved passages contain answers to a given question. In this work, we empirically dispel this belief and observe that recent dense retrieval models based on DPR often rank unanswerable counterfactual passages higher than their answerable original passages. To address such answer-unawareness in dense retrievers, we seek to use counterfactual samples as additional training resources to better synchronize the relevance measurement of DPR with the answerability of question-passage pairs. Specifically, we present counterfactually-Pivoting Contrastive Learning (PiCL), a novel representation learning approach for passage retrieval that leverages counterfactual samples as pivots between positive and negative samples in their learned embedding space. We incorporate PiCL into the retriever training to show the effectiveness of PiCL on ODQA benchmarks and the robustness of the learned models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI