Reranking Passages with Coarse-to-Fine Neural Retriever Enhanced by List-Context Information

要約

パッセージの再ランキングは、さまざまなアプリケーション、特に大量のドキュメントを扱う場合に重要なタスクです。
既存のニューラル アーキテクチャでは、セグメント化されたパッセージのセマンティクスが不完全であることが多く、通常は質問を各パッセージに個別に照合し、比較や参照を提供できる他のパッセージからのコンテキスト情報をほとんど考慮しないため、特定の質問に最も関連性のあるパッセージを取得するのに限界があります。
情報。
この論文では、他の候補からのリスト コンテキスト情報を組み込むことによってパッセージ表現を強化するリスト コンテキスト アテンション メカニズムを紹介します。
提案された coarse-to-fine (C2F) ニューラル リトリーバーは、キャッシュ ポリシー学習アルゴリズムを使用してリスト コンテキスト モデリング プロセスを 2 つのサブプロセスに分割することで、パッセージ アテンション メカニズムのメモリ不足制限に対処し、
多数の回答候補からのコンテキスト情報。
この方法は通常、1 回のパスで任意の数の回答候補からのコンテキスト情報をエンコードするために使用できます。
ほとんどの多段階情報検索アーキテクチャとは異なり、このモデルは粗いランカーと細かいランカーを統合最適化プロセスに統合し、2 つの層間のフィードバックを可能にしてモデルを同時に更新します。
実験により、提案されたアプローチの有効性が実証されます。

要約(オリジナル)

Passage reranking is a critical task in various applications, particularly when dealing with large volumes of documents. Existing neural architectures have limitations in retrieving the most relevant passage for a given question because the semantics of the segmented passages are often incomplete, and they typically match the question to each passage individually, rarely considering contextual information from other passages that could provide comparative and reference information. This paper presents a list-context attention mechanism to augment the passage representation by incorporating the list-context information from other candidates. The proposed coarse-to-fine (C2F) neural retriever addresses the out-of-memory limitation of the passage attention mechanism by dividing the list-context modeling process into two sub-processes with a cache policy learning algorithm, enabling the efficient encoding of context information from a large number of candidate answers. This method can be generally used to encode context information from any number of candidate answers in one pass. Different from most multi-stage information retrieval architectures, this model integrates the coarse and fine rankers into the joint optimization process, allowing for feedback between the two layers to update the model simultaneously. Experiments demonstrate the effectiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google