Revisiting Dense Retrieval with Unanswerable Counterfactuals

要約

タイトル：再訪する未回答の仮説に基づく密な検索

要約：
– Retriever-readerフレームワークは、大きなコーパスからリーダーに関連する候補のパッセージを選び出すリトリーバーによって、オープンドメインの質問応答（ODQA）においてよく使われます。
– この方法の背後にある重要な仮定は、リトリーバーからの高い関連性スコアは、読者からの高い回答可能性を示すことが多いため、回答する可能性が高いことを意味することです。
– この研究では、最近のDPRに基づく密な検索モデルは、回答可能な元のパッセージよりも回答不可能な仮説パッセージの方が高くランク付けされることがあることを実証的に示しています。
– 密な検索モデルにおける回答無意識を解決するため、本研究は、カウンターファクチャルサンプルを追加のトレーニングリソースとして使用して、DPRの関連性測定と質問・パッセージペアの回答性との同期を改善することを目指します。
– 具体的には、カウンターファクチャルサンプルをピボットとして、学習した埋め込み空間で正と負のサンプルの間を移動するためのピボットコントラスティブラーニング（PiCL）と呼ばれる新しい表現学習手法を紹介します。
– PiCLをリトリーバートレーニングに組み込むことで、ODQAベンチマークの有効性と、学習したモデルの堅牢性を示します。

要約(オリジナル)

The retriever-reader framework is popular for open-domain question answering (ODQA), where a retriever samples for the reader a set of relevant candidate passages from a large corpus. A key assumption behind this method is that high relevance scores from the retriever likely indicate high answerability from the reader, which implies a high probability that the retrieved passages contain answers to a given question. In this work, we empirically dispel this belief and observe that recent dense retrieval models based on DPR often rank unanswerable counterfactual passages higher than their answerable original passages. To address such answer-unawareness in dense retrievers, we seek to use counterfactual samples as additional training resources to better synchronize the relevance measurement of DPR with the answerability of question-passage pairs. Specifically, we present counterfactually-Pivoting Contrastive Learning (PiCL), a novel representation learning approach for passage retrieval that leverages counterfactual samples as pivots between positive and negative samples in their learned embedding space. We incorporate PiCL into the retriever training to show the effectiveness of PiCL on ODQA benchmarks and the robustness of the learned models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI