ReasoningRank: Teaching Student Models to Rank through Reasoning-Based Knowledge Distillation

要約

特定のクエリとの関連性に基づいてドキュメントを再ランク付けすることは、情報検索において重要です。
従来の再ランキング手法は、多くの場合、初期ランキングの向上に重点を置いていますが、透明性に欠けており、ある文書がなぜ上位にランクされるのかを説明できません。
この論文では、ReasoningRank を紹介します。これは、2 種類の推論を生成することで明確さを高める新しい再ランキング アプローチです。明示的推論では、ドキュメントがクエリにどのように対処するかを説明します。もう一方は、あるドキュメントと別のドキュメントの関連性を正当化する比較推論です。
これらの説明を生成する教師モデルとして大規模言語モデル (LLM) を活用し、この知識をより小規模でリソース効率の高い生徒モデルに抽出します。
スチューデント モデルは、速度の点では LLM を上回るパフォーマンスを発揮しないかもしれませんが、必要なリソースが少なくなるため計算負荷が大幅に軽減され、大規模な設定やリソースに制約のある設定により適しています。
これらの学生モデルは、意味のある推論の生成と文書の再ランク付けの両方を行うようにトレーニングされており、MSMARCO や BRIGHT を含む複数のデータセットにわたって競争力のあるパフォーマンスを達成します。
実験では、ReasoningRank が再ランキングの精度を向上させ、意思決定プロセスに貴重な洞察を提供し、再ランキング タスクに構造化された解釈可能なソリューションを提供することを示しています。

要約(オリジナル)

Reranking documents based on their relevance to a given query is critical in information retrieval. Traditional reranking methods often focus on improving the initial rankings but lack transparency, failing to explain why one document is ranked higher. In this paper, we introduce ReasoningRank, a novel reranking approach that enhances clarity by generating two types of reasoning: explicit reasoning, which explains how a document addresses the query, and comparison reasoning, which justifies the relevance of one document over another. We leverage large language models (LLMs) as teacher models to generate these explanations and distill this knowledge into smaller, more resource-efficient student models. While the student models may not outperform LLMs in speed, they significantly reduce the computational burden by requiring fewer resources, making them more suitable for large-scale or resource-constrained settings. These student models are trained to both generate meaningful reasoning and rerank documents, achieving competitive performance across multiple datasets, including MSMARCO and BRIGHT. Experiments demonstrate that ReasoningRank improves reranking accuracy and provides valuable insights into the decision-making process, offering a structured and interpretable solution for reranking tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google