On the Robustness of Generative Retrieval Models: An Out-of-Distribution Perspective

要約

最近、情報検索 (IR) 分野で生成検索がますます注目を集めています。生成検索は、識別子を直接生成することによって文書を検索します。
これまでのところ、効果的な生成検索モデルの開発に多くの努力が費やされてきました。
堅牢性の観点にはあまり注目されていません。
新しい検索パラダイムが現実世界のアプリケーションに導入される場合、分布外 (OOD) 一般化、つまり生成検索モデルが新しい分布にどのように一般化されるかを測定することも重要です。
この質問に答えるために、まず、検索問題における 3 つの観点から OOD の堅牢性を定義します。1) クエリのバリエーション。
2) 予期しないクエリの種類。
3) 予期せぬタスク。
この分類に基づいて、高密度検索モデルに対するいくつかの代表的な生成検索モデルの OOD 堅牢性を分析するための実証研究を実施します。
経験的結果は、生成検索モデルの OOD 堅牢性を強化する必要があることを示しています。
私たちは、生成検索モデルの OOD 堅牢性を研究することが IR コミュニティにとって有益であることを願っています。

要約(オリジナル)

Recently, we have witnessed generative retrieval increasingly gaining attention in the information retrieval (IR) field, which retrieves documents by directly generating their identifiers. So far, much effort has been devoted to developing effective generative retrieval models. There has been less attention paid to the robustness perspective. When a new retrieval paradigm enters into the real-world application, it is also critical to measure the out-of-distribution (OOD) generalization, i.e., how would generative retrieval models generalize to new distributions. To answer this question, firstly, we define OOD robustness from three perspectives in retrieval problems: 1) The query variations; 2) The unforeseen query types; and 3) The unforeseen tasks. Based on this taxonomy, we conduct empirical studies to analyze the OOD robustness of several representative generative retrieval models against dense retrieval models. The empirical results indicate that the OOD robustness of generative retrieval models requires enhancement. We hope studying the OOD robustness of generative retrieval models would be advantageous to the IR community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google