Generative Dense Retrieval: Memory Can Be a Burden

要約

生成検索 (GR) は、クエリが与えられた場合に関連する文書識別子を自己回帰的にデコードするもので、小規模コーパスの設定下では良好に機能することが示されています。
GR は、モデル パラメーターを使用して文書コーパスを記憶することにより、クエリと文書の間の深い相互作用を暗黙的に実現します。
しかし、このような記憶メカニズムには 3 つの欠点があります。(1) 文書のきめ細かい特徴に対する記憶精度が低い。
(2) コーパスのサイズが大きくなるにつれて、記憶の混乱が悪化します。
(3) 新しい文書のための膨大なメモリ更新コスト。
これらの問題を軽減するために、生成密検索 (GDR) パラダイムを提案します。
具体的には、GDR はまず、限られたメモリ量を使用して、クエリから関連するドキュメント クラスターまでのクラスター間マッチングを実現します。
次に、密検索 (DR) による記憶不要のマッチング メカニズムが導入され、クラスターから関連ドキュメントまでのきめの細かいクラスター内マッチングが実行されます。
粗いものから細かいものへのプロセスは、GR の深い相互作用と DR のスケーラビリティの利点を最大化します。
さらに、コーパス記憶を促進するためのクラスター識別子構築戦略と、クラスター内マッピング能力を強化するためのクラスター適応ネガティブサンプリング戦略を設計します。
実験結果は、GDR が複数の設定の下で NQ データセットで平均 3.0 R@100 の改善を達成し、より優れたスケーラビリティを備えていることを示しています。

要約(オリジナル)

Generative Retrieval (GR), autoregressively decoding relevant document identifiers given a query, has been shown to perform well under the setting of small-scale corpora. By memorizing the document corpus with model parameters, GR implicitly achieves deep interaction between query and document. However, such a memorizing mechanism faces three drawbacks: (1) Poor memory accuracy for fine-grained features of documents; (2) Memory confusion gets worse as the corpus size increases; (3) Huge memory update costs for new documents. To alleviate these problems, we propose the Generative Dense Retrieval (GDR) paradigm. Specifically, GDR first uses the limited memory volume to achieve inter-cluster matching from query to relevant document clusters. Memorizing-free matching mechanism from Dense Retrieval (DR) is then introduced to conduct fine-grained intra-cluster matching from clusters to relevant documents. The coarse-to-fine process maximizes the advantages of GR’s deep interaction and DR’s scalability. Besides, we design a cluster identifier constructing strategy to facilitate corpus memory and a cluster-adaptive negative sampling strategy to enhance the intra-cluster mapping ability. Empirical results show that GDR obtains an average of 3.0 R@100 improvement on NQ dataset under multiple settings and has better scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google