Distillation Enhanced Generative Retrieval

要約

生成検索は、関連する文章の識別子文字列を検索対象として生成する、テキスト検索における有望な新しいパラダイムです。
このパラダイムは、従来のスパースまたはデンス検索方法とは異なる、強力な生成言語モデルを活用します。
この研究では、蒸留による生成的検索をさらに強化する実行可能な方向性を特定し、DGR と呼ばれる実現可能なフレームワークを提案します。
DGR は、教師の役割でクロスエンコーダーなどの高度なランキング モデルを利用して、バイナリのハード ラベルの代わりにパッセージのさまざまな関連度をキャプチャするパッセージ ランク リストを提供します。
その後、DGR は特別に設計された蒸留 RankNet 損失を使用して、教師モデルによって提供される通過ランク順序をラベルとして考慮して、生成検索モデルを最適化します。
このフレームワークは、現在の生成検索システムを強化するために追加の蒸留ステップを必要とするだけであり、推論段階に負担を追加することはありません。
4つの公開データセットに対して実験を行った結果、DGRが生成検索手法の中で最先端の性能を達成していることが示されました。
さらに、DGR は、さまざまな教師モデルと蒸留損失に対して優れた堅牢性と一般化性を示します。

要約(オリジナル)

Generative retrieval is a promising new paradigm in text retrieval that generates identifier strings of relevant passages as the retrieval target. This paradigm leverages powerful generative language models, distinct from traditional sparse or dense retrieval methods. In this work, we identify a viable direction to further enhance generative retrieval via distillation and propose a feasible framework, named DGR. DGR utilizes sophisticated ranking models, such as the cross-encoder, in a teacher role to supply a passage rank list, which captures the varying relevance degrees of passages instead of binary hard labels; subsequently, DGR employs a specially designed distilled RankNet loss to optimize the generative retrieval model, considering the passage rank order provided by the teacher model as labels. This framework only requires an additional distillation step to enhance current generative retrieval systems and does not add any burden to the inference stage. We conduct experiments on four public datasets, and the results indicate that DGR achieves state-of-the-art performance among the generative retrieval methods. Additionally, DGR demonstrates exceptional robustness and generalizability with various teacher models and distillation losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google