Rank-without-GPT: Building GPT-Independent Listwise Rerankers on Open-Source Large Language Models

要約

大規模言語モデル (LLM) に基づくリストワイズ リランカーは、最先端のゼロショットです。
ただし、この方向の現在の研究はすべて GPT モデルに依存しているため、科学的な再現性において単一障害点となっています。
さらに、現在の研究結果は GPT モデルにのみ当てはまり、LLM 一般には当てはまらないという懸念が生じます。
この作業では、この前提条件を解除し、GPT に一切依存せずに効果的なリストワイズ リランカーを初めて構築します。
私たちのパッセージ検索実験の結果、私たちの最良のリスト SE リランカーは GPT-3.5 に基づくリストワイズ リランカーを 13% 上回り、GPT-4 に基づいて構築されたものの 97% の有効性を達成することが示されました。
私たちの結果は、ポイント単位のランキング用に明示的に構築された既存のトレーニング データセットでは、そのようなリスト単位のリランカーを構築するには不十分であることも示しています。
代わりに、高品質のリストごとのランキング データが必要かつ重要であるため、人間による注釈付きのリストごとのデータ リソースを構築するためのさらなる作業が求められます。

要約(オリジナル)

Listwise rerankers based on large language models (LLM) are the zero-shot state-of-the-art. However, current works in this direction all depend on the GPT models, making it a single point of failure in scientific reproducibility. Moreover, it raises the concern that the current research findings only hold for GPT models but not LLM in general. In this work, we lift this pre-condition and build for the first time effective listwise rerankers without any form of dependency on GPT. Our passage retrieval experiments show that our best list se reranker surpasses the listwise rerankers based on GPT-3.5 by 13% and achieves 97% effectiveness of the ones built on GPT-4. Our results also show that the existing training datasets, which were expressly constructed for pointwise ranking, are insufficient for building such listwise rerankers. Instead, high-quality listwise ranking data is required and crucial, calling for further work on building human-annotated listwise data resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google