Revisiting Dense Retrieval with Unanswerable Counterfactuals

要約

タイトル：Unanswerable Counterfactualsを用いたDense Retrievalの再検討
要約：
– Retrieval-Readerフレームワークは、リトリーバーが大規模な文書からリーダーに適切な候補パッセージをサンプリングすることで、オープンドメインの質問応答（ODQA）において広く利用されています。
– この方法の重要な仮定は、リトリーバーからの高い関連スコアがリーダーによる回答可能性が高いことを示すことであり、このことは、取得されたパッセージに回答が含まれる可能性が高いことを意味します。
– この研究では、最近のDPRに基づく密度回収モデルが回答可能ではないカウンターファクチュアルなパッセージを回答可能な元のパッセージよりも高くランク付けすることを実証的に打ち消します。
– このような回答不可能なリトリーバーの問題を解決するため、コンターファクトサンプルを追加のトレーニングリソースとして使用して、DPRの関連性測定を質問-パッセージペアの回答性とより同期させることを目指しています。
– 具体的には、コンターファクトサンプルを正と負のサンプルの組として学習した埋め込み空間でのピボットとして活用することで、パッセージ回収のための新しい表現学習手法であるPiCLを提案します。
– 我々はPiCLをリトリーバーのトレーニングに組み込んで、ODQAベンチマークにおけるPiCLの効果と、学習されたモデルの堅牢性を示します。

要約(オリジナル)

The retriever-reader framework is popular for open-domain question answering (ODQA), where a retriever samples for the reader a set of relevant candidate passages from a large corpus. A key assumption behind this method is that high relevance scores from the retriever likely indicate high answerability from the reader, which implies a high probability that the retrieved passages contain answers to a given question. In this work, we empirically dispel this belief and observe that recent dense retrieval models based on DPR often rank unanswerable counterfactual passages higher than their answerable original passages. To address such answer-unawareness in dense retrievers, we seek to use counterfactual samples as additional training resources to better synchronize the relevance measurement of DPR with the answerability of question-passage pairs. Specifically, we present counterfactually-Pivoting Contrastive Learning (PiCL), a novel representation learning approach for passage retrieval that leverages counterfactual samples as pivots between positive and negative samples in their learned embedding space. We incorporate PiCL into the retriever training to show the effectiveness of PiCL on ODQA benchmarks and the robustness of the learned models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI