Don’t ‘Overthink’ Passage Reranking: Is Reasoning Truly Necessary?

要約

複雑な自然言語のタスクにわたる推論モデルの成功により、情報検索（IR）コミュニティの研究者は、大規模な言語モデル（LLM）に基づいて構築された通過再生能力に同様の推論機能を統合できることを調査し始めました。
これらの方法は通常、LLMを使用して、最終的な関連性予測に到達する前に、明示的な段階的な推論プロセスを生成します。
しかし、推論は実際に再ランキングの精度を改善しますか？
この論文では、この質問に深く掘り下げ、推論に基づいたポイントワイズリランカー（REASORR）を同一のトレーニング条件下で標準の非合理的なポイントレランカー（StandardRR）と比較することにより、推論プロセスの影響を研究し、標準が一般にReasonRRを上回ることを観察します。
この観察結果に基づいて、推論プロセス（ReasonRR-Noreason）を無効にすることにより、ReasonRRに対する推論の重要性を研究し、ReasonRR-NoreasonがReasonRRよりも驚くほど効果的であることがわかります。
この結果の原因を調べると、我々の調査結果は、推論に基づく再生者がLLMの推論プロセスによって制限されていることを明らかにしており、それはそれを偏光関連スコアに向けてプッシュし、したがって、PointWise Relankersの精度の重要な要因であるパッセージの部分的な関連性を考慮していません。

要約(オリジナル)

With the growing success of reasoning models across complex natural language tasks, researchers in the Information Retrieval (IR) community have begun exploring how similar reasoning capabilities can be integrated into passage rerankers built on Large Language Models (LLMs). These methods typically employ an LLM to produce an explicit, step-by-step reasoning process before arriving at a final relevance prediction. But, does reasoning actually improve reranking accuracy? In this paper, we dive deeper into this question, studying the impact of the reasoning process by comparing reasoning-based pointwise rerankers (ReasonRR) to standard, non-reasoning pointwise rerankers (StandardRR) under identical training conditions, and observe that StandardRR generally outperforms ReasonRR. Building on this observation, we then study the importance of reasoning to ReasonRR by disabling its reasoning process (ReasonRR-NoReason), and find that ReasonRR-NoReason is surprisingly more effective than ReasonRR. Examining the cause of this result, our findings reveal that reasoning-based rerankers are limited by the LLM’s reasoning process, which pushes it toward polarized relevance scores and thus fails to consider the partial relevance of passages, a key factor for the accuracy of pointwise rerankers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google