ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation

要約

特定のクエリとの関連性に基づいてドキュメントを再表示することは、情報検索の重要なタスクです。
従来の再ランキング方法はしばしば透明性に欠け、独自のモデルに依存し、再現性と解釈性を妨げます。
2つのタイプの推論を生成することにより透明性を高める新しいオープンソースの再ランキングアプローチであるReason-to-Ramp（R2R）を提案します。これは、ドキュメントがクエリにどのように対処するかを説明する直接的な関連性推論と、あるドキュメントの関連性を別のドキュメントの関連性を正当化する方法を説明する方法を説明します。
大規模な言語モデル（LLM）を教師モデルとして活用してこれらの説明を生成し、この知識をより小さく、公然と利用可能な学生モデルに蒸留します。
私たちの学生モデルは、意味のある推論と再評価のドキュメントを生成するように訓練されており、MSMARCOやBrightを含む複数のデータセットで競争力のあるパフォーマンスを達成しています。
実験は、R2Rが再ランキングの精度を改善するだけでなく、意思決定プロセスに関する貴重な洞察を提供することを示しています。
R2Rは、オープンにアクセス可能なリソースを備えた構造化された解釈可能なソリューションを提供することにより、情報検索の有効性と透明性のギャップを埋め、フィールドでの再現性とさらなる研究を促進することを目指しています。

要約(オリジナル)

Reranking documents based on their relevance to a given query is a critical task in information retrieval. Traditional reranking methods often lack transparency and rely on proprietary models, hindering reproducibility and interpretability. We propose Reason-to-Rank (R2R), a novel open-source reranking approach that enhances transparency by generating two types of reasoning: direct relevance reasoning, which explains how a document addresses the query, and comparison reasoning, which justifies the relevance of one document over another. We leverage large language models (LLMs) as teacher models to generate these explanations and distill this knowledge into smaller, openly available student models. Our student models are trained to generate meaningful reasoning and rerank documents, achieving competitive performance across multiple datasets, including MSMARCO and BRIGHT. Experiments demonstrate that R2R not only improves reranking accuracy but also provides valuable insights into the decision-making process. By offering a structured and interpretable solution with openly accessible resources, R2R aims to bridge the gap between effectiveness and transparency in information retrieval, fostering reproducibility and further research in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google