Can a Frozen Pretrained Language Model be used for Zero-shot Neural Retrieval on Entity-centric Questions?

要約

高密度パッセージ検索 (DPR) を含むニューラル ドキュメント レトリーバーは、微調整して特定の質問応答データセットでテストした場合、BM25 などの従来の字句一致検索バーよりも優れています。
しかし、既存のデンス・レトリーバーは、ドメイン外だけでなくウィキペディアなどのドメインでも、特に質問内の名前付きエンティティーが検索の支配的な手がかりである場合、うまく一般化しないことが示されています。
この論文では、ドメイン内のエンティティでトレーニングされた凍結言語モデルによって生成された埋め込みを使用して、ドメイン内一般化へのアプローチを提案します。
微調整を行わないことで、事前トレーニング済みの言語モデルに含まれる豊富な知識を検索タスクに使用できる可能性を探ります。
提案された方法は、ウィキペディア ドメインのエンティティ中心の質問に対して従来の DPR よりも優れており、BM25 および最先端の SPAR モデルにほぼ匹敵するパフォーマンスを達成します。
また、エンティティ名が一般的な単語で構成されている場合、コンテキスト化されたキーが BM25 と比較して大幅に改善されることも示しています。
私たちの結果は、DPR が実行するのに苦労したウィキペディア ドメインのエンティティ中心の質問に対するゼロ ショット検索法の実現可能性を示しています。

要約(オリジナル)

Neural document retrievers, including dense passage retrieval (DPR), have outperformed classical lexical-matching retrievers, such as BM25, when fine-tuned and tested on specific question-answering datasets. However, it has been shown that the existing dense retrievers do not generalize well not only out of domain but even in domain such as Wikipedia, especially when a named entity in a question is a dominant clue for retrieval. In this paper, we propose an approach toward in-domain generalization using the embeddings generated by the frozen language model trained with the entities in the domain. By not fine-tuning, we explore the possibility that the rich knowledge contained in a pretrained language model can be used for retrieval tasks. The proposed method outperforms conventional DPRs on entity-centric questions in Wikipedia domain and achieves almost comparable performance to BM25 and state-of-the-art SPAR model. We also show that the contextualized keys lead to strong improvements compared to BM25 when the entity names consist of common words. Our results demonstrate the feasibility of the zero-shot retrieval method for entity-centric questions of Wikipedia domain, where DPR has struggled to perform.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google