Reranking Passages with Coarse-to-Fine Neural Retriever using List-Context Information

要約

パッセージの再ランキングは、多くのアプリケーション、特に大規模なドキュメントを扱う場合に重要なタスクです。
従来のニューラル アーキテクチャは、通常、質問と各パッセージを個別に照合し、比較情報や参照情報を提供できる他のパッセージのコンテキスト情報をほとんど考慮しないため、質問に最適なパッセージを取得するのに限界があります。
この論文では、他の候補からのリスト コンテキスト情報を組み込むことによってパッセージ表現を強化するリスト コンテキスト アテンション メカニズムを紹介します。
提案された coarse-to-fine (C2F) ニューラル リトリーバーは、リスト コンテキスト モデリング プロセスを 2 つのサブプロセスに分割することで、パッセージ アテンション メカニズムのメモリ不足制限に対処し、多数のコンテキスト情報からのコンテキスト情報の効率的なエンコードを可能にします。
回答候補の数。
この方法は通常、1 回のパスで任意の数の回答候補からのコンテキスト情報をエンコードするために使用できます。
ほとんどの多段階情報検索アーキテクチャとは異なり、このモデルは粗いランカーと細かいランカーを統合最適化プロセスに統合し、2 つの層間のフィードバックを可能にしてモデルを同時に更新します。
実験により、提案されたアプローチの有効性が実証されます。

要約(オリジナル)

Passage reranking is a crucial task in many applications, particularly when dealing with large-scale documents. Traditional neural architectures are limited in retrieving the best passage for a question because they usually match the question to each passage separately, seldom considering contextual information in other passages that can provide comparison and reference information. This paper presents a list-context attention mechanism to augment the passage representation by incorporating the list-context information from other candidates. The proposed coarse-to-fine (C2F) neural retriever addresses the out-of-memory limitation of the passage attention mechanism by dividing the list-context modeling process into two sub-processes, allowing for efficient encoding of context information from a large number of candidate answers. This method can be generally used to encode context information from any number of candidate answers in one pass. Different from most multi-stage information retrieval architectures, this model integrates the coarse and fine rankers into the joint optimization process, allowing for feedback between the two layers to update the model simultaneously. Experiments demonstrate the effectiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google