RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models

要約

研究者らは、ChatGPT などの大規模言語モデル (LLM) を情報検索コンテキストでの再ランキングに適用することに成功していますが、これまでのところ、そのような研究はほとんどが、不透明な API エンドポイントの背後に隠された独自のモデルに基づいて構築されています。
このアプローチでは、再現性がなく非決定論的な実験結果が得られ、そのような不安定な基盤の上に構築された結果の真実性が脅かされています。
この重大な欠点に対処するために、ゼロショット設定で高品質のリストごとの再ランキングを実行できる初の完全にオープンソースの LLM である RankVicuna を紹介します。
TREC 2019 および 2020 ディープ ラーニング トラックの実験結果では、はるかに小さい 7B パラメータ モデルを使用した GPT-3.5 によるゼロショット リランキングに匹敵する有効性を達成できることが示されていますが、有効性は GPT-4 によるリランキングにわずかに及ばないままです。
私たちの研究が、最新の LLM による再ランキングに関する将来の研究の基礎となることを願っています。
結果を再現するために必要なコードはすべて、https://github.com/castorini/rank_llm で入手できます。

要約(オリジナル)

Researchers have successfully applied large language models (LLMs) such as ChatGPT to reranking in an information retrieval context, but to date, such work has mostly been built on proprietary models hidden behind opaque API endpoints. This approach yields experimental results that are not reproducible and non-deterministic, threatening the veracity of outcomes that build on such shaky foundations. To address this significant shortcoming, we present RankVicuna, the first fully open-source LLM capable of performing high-quality listwise reranking in a zero-shot setting. Experimental results on the TREC 2019 and 2020 Deep Learning Tracks show that we can achieve effectiveness comparable to zero-shot reranking with GPT-3.5 with a much smaller 7B parameter model, although our effectiveness remains slightly behind reranking with GPT-4. We hope our work provides the foundation for future research on reranking with modern LLMs. All the code necessary to reproduce our results is available at https://github.com/castorini/rank_llm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google