Large Language Models as Foundations for Next-Gen Dense Retrieval: A Comprehensive Empirical Assessment

要約

BERT や T5 などの事前トレーニング済み言語モデルは、高密度検索のための重要なバックボーン エンコーダーとして機能します。
ただし、これらのモデルは一般化機能が限られていることが多く、ドメインの精度を向上させる上で課題に直面しています。
最近の研究では、大規模言語モデル (LLM) を取得者として使用し、さまざまなタスクにわたって SOTA パフォーマンスを達成することが検討されています。
これらの進歩にもかかわらず、従来の取得者に対する LLM の具体的な利点や、パラメータ サイズ、事前トレーニング期間、取得タスクに対する調整プロセスなどのさまざまな LLM 構成の影響は依然として不明瞭です。
この研究では、ドメイン精度、データ効率、ゼロショット一般化、長時間検索、命令ベースの検索、マルチタスク学習など、幅広い検索タスクに関する包括的な実証研究を実施します。
私たちは 15 を超える異なるバックボーン LLM と非 LLM を評価します。
私たちの調査結果では、大規模なモデルと広範な事前トレーニングにより、ドメインの精度とデータ効率が一貫して向上していることが明らかになりました。
さらに、より大きなモデルは、ゼロショット一般化、長時間にわたる検索、命令ベースの検索、およびマルチタスク学習において大きな可能性を示します。
これらの結果は、高密度検索における多用途かつ効果的なバックボーン エンコーダとしての LLM の利点を強調しており、この分野の将来の研究開発に貴重な洞察を提供します。

要約(オリジナル)

Pretrained language models like BERT and T5 serve as crucial backbone encoders for dense retrieval. However, these models often exhibit limited generalization capabilities and face challenges in improving in domain accuracy. Recent research has explored using large language models (LLMs) as retrievers, achieving SOTA performance across various tasks. Despite these advancements, the specific benefits of LLMs over traditional retrievers and the impact of different LLM configurations, such as parameter sizes, pretraining duration, and alignment processes on retrieval tasks remain unclear. In this work, we conduct a comprehensive empirical study on a wide range of retrieval tasks, including in domain accuracy, data efficiency, zero shot generalization, lengthy retrieval, instruction based retrieval, and multi task learning. We evaluate over 15 different backbone LLMs and non LLMs. Our findings reveal that larger models and extensive pretraining consistently enhance in domain accuracy and data efficiency. Additionally, larger models demonstrate significant potential in zero shot generalization, lengthy retrieval, instruction based retrieval, and multi task learning. These results underscore the advantages of LLMs as versatile and effective backbone encoders in dense retrieval, providing valuable insights for future research and development in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google