Improving Passage Retrieval with Zero-Shot Question Generation

要約

タイトル：「ゼロショット質問生成によるパッセージ検索の改善」
要約：
– 技術概要：この論文では、質問応答においてパッセージ検索を改善するための簡単で効果的な再ランキング方法が提案されている。再ランキングモデルは、事前学習済みの言語モデルを使用して、取得されたパッセージに依存する入力質問の確率を計算するゼロショット質問生成モデルでパッセージを再スコアリングする。この手法は、ニューラルネットワークやキーワードベースの検索手法の上に適用することができ、ドメインまたはタスクに特化したトレーニングを必要としないため、データ分布シフトへの一般化が期待でき、クエリとパッセージの関係を説明するためにクロスアテンションを提供する。
– 評価結果：この再ランキングモデルをいくつかのオープンドメインの検索データセットで評価した結果、強力な教師なし検索モデルの精度を6〜18％、強力な教師ありモデルの精度を最大12％向上させることができた。また、既存のモデルにこの再ランキングモデルを追加するだけで、完全なオープンドメインの質問応答で新しい最高精度を達成することができた。

要約(オリジナル)

We propose a simple and effective re-ranking method for improving passage retrieval in open question answering. The re-ranker re-scores retrieved passages with a zero-shot question generation model, which uses a pre-trained language model to compute the probability of the input question conditioned on a retrieved passage. This approach can be applied on top of any retrieval method (e.g. neural or keyword-based), does not require any domain- or task-specific training (and therefore is expected to generalize better to data distribution shifts), and provides rich cross-attention between query and passage (i.e. it must explain every token in the question). When evaluated on a number of open-domain retrieval datasets, our re-ranker improves strong unsupervised retrieval models by 6%-18% absolute and strong supervised models by up to 12% in terms of top-20 passage retrieval accuracy. We also obtain new state-of-the-art results on full open-domain question answering by simply adding the new re-ranker to existing models with no further changes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI