Rank1: Test-Time Compute for Reranking in Information Retrieval

要約

テスト時間計算を活用するために訓練された最初の再ランキングモデルであるRANK1を紹介します。
RANK1は、小規模モデルの性能を迅速に改善するために、蒸留のために推論言語モデル（つまり、OpenaiのO1、DeepseekのR1など）を使用することの検索内での適用性を示しています。
MS MarcoのクエリとパッセージからのR1の推論トレースの600,000を超える例のデータセットを収集してオープンソースします。
このデータセットでトレーニングされたモデルショー：（1）データセットに続く高度な推論と命令に関する最先端のパフォーマンス。
（2）ユーザー入力プロンプトに応答する能力により、分布から非常によく機能します。
（3）ユーザーまたはRAGベースのシステムに提供できる説明可能な推論チェーンがあります。
さらに、これらのモデルの量子化されたバージョンは、より少ない計算/メモリを使用しながら強力なパフォーマンスを保持していることを実証します。
全体として、RANK1は、テスト時間計算により、検索のための根本的に新しいタイプの説明可能でパフォーマンスのあるRerankerモデルが可能になることを示しています。

要約(オリジナル)

We introduce Rank1, the first reranking model trained to take advantage of test-time compute. Rank1 demonstrates the applicability within retrieval of using a reasoning language model (i.e. OpenAI’s o1, Deepseek’s R1, etc.) for distillation in order to rapidly improve the performance of a smaller model. We gather and open-source a dataset of more than 600,000 examples of R1 reasoning traces from queries and passages in MS MARCO. Models trained on this dataset show: (1) state-of-the-art performance on advanced reasoning and instruction following datasets; (2) work remarkably well out of distribution due to the ability to respond to user-input prompts; and (3) have explainable reasoning chains that can be given to users or RAG-based systems. Further, we demonstrate that quantized versions of these models retain strong performance while using less compute/memory. Overall, Rank1 shows that test-time compute allows for a fundamentally new type of explainable and performant reranker model for search.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google