Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval

要約

生成情報検索（GENIR）は、ドキュメント識別子（DOCID）生成タスクとしてドキュメント検索を定式化する有望な神経検索パラダイムであり、統一されたグローバル検索目標に向けてエンドツーエンドの最適化を可能にします。
ただし、既存のGenirモデルは、トークンレベルの不整合に悩まされており、次のトークンを予測するために訓練されたモデルがドキュメントレベルの関連性を効果的にキャプチャできないことがよくあります。
関連するフィードバック（RLRF）からの強化学習などの強化学習ベースの方法は、報酬モデリングを通じてこの不整合に対処することを目的としていますが、補助報酬機能の最適化とそれに続く補強材の微調整が必​​要です。
これらの課題に対処するために、直接文書関連性最適化（DDRO）を提案します。これは、ペアワイズランキングを介した直接的な最適化を通じてトークンレベルのドキド生成をドキュメントレベルの関連性推定に合わせて、明示的な報酬モデリングと強化学習の必要性を排除します。
MS MARCO文書や自然な質問を含むベンチマークデータセットの実験結果は、DDROが補強学習ベースの方法よりも優れており、MR MRCO@10で7.4％の改善を達成し、自然な質問で19.9％の改善を達成することを示しています。
これらの調査結果は、単純化された最適化アプローチで検索の有効性を高めるDDROの可能性を強調しています。
直接最適化問題としてアラインメントをフレーミングすることにより、DDROは、補強学習ベースの方法に実行可能な代替品を提供しながら、Genirモデルのランキング最適化パイプラインを簡素化します。

要約(オリジナル)

Generative information retrieval (GenIR) is a promising neural retrieval paradigm that formulates document retrieval as a document identifier (docid) generation task, allowing for end-to-end optimization toward a unified global retrieval objective. However, existing GenIR models suffer from token-level misalignment, where models trained to predict the next token often fail to capture document-level relevance effectively. While reinforcement learning-based methods, such as reinforcement learning from relevance feedback (RLRF), aim to address this misalignment through reward modeling, they introduce significant complexity, requiring the optimization of an auxiliary reward function followed by reinforcement fine-tuning, which is computationally expensive and often unstable. To address these challenges, we propose direct document relevance optimization (DDRO), which aligns token-level docid generation with document-level relevance estimation through direct optimization via pairwise ranking, eliminating the need for explicit reward modeling and reinforcement learning. Experimental results on benchmark datasets, including MS MARCO document and Natural Questions, show that DDRO outperforms reinforcement learning-based methods, achieving a 7.4% improvement in MRR@10 for MS MARCO and a 19.9% improvement for Natural Questions. These findings highlight DDRO’s potential to enhance retrieval effectiveness with a simplified optimization approach. By framing alignment as a direct optimization problem, DDRO simplifies the ranking optimization pipeline of GenIR models while offering a viable alternative to reinforcement learning-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google