Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling

要約

密な検索は、情報検索（IR）の重要なタスクであり、再ランクなどのダウンストリームタスクの基盤です。
最近、大規模な言語モデル（LLM）は、説得力のある意味的理解能力を示しており、密な検索を研究している研究者に魅力的です。
Decoderスタイルの生成モデルとしてのLLMは、言語生成で有能であり、その後トークンに注意を払っていないため、グローバル情報のモデリングに不足しています。
IRの古典的な単語ベースの言語モデリングアプローチ、つまりクエリの可能性（QL）モデルに触発され、QLの最大化によりLLMSの生成能力を十分に利用しようとします。
ただし、QL推定でドキュメントをランキングする代わりに、QLの最大化の補助タスクを導入して、差別的レトリバーを対比学習するためのより良いバックボーンを生成します。
モデルをLLM-QLと名付けます。
QLモデリング中にグローバルドキュメントセマンティクスを単一のベクトルに凝縮するために、LLM-QLには注意停止（AS）と入力汚職（IC）の2つの主要なコンポーネントがあります。
ドキュメントの終了トークンまで、前のトークンへの予測トークンの注意を止めます。
ICは、予測中に入力ドキュメントにトークンの一部をマスクします。
MSMARCOの実験は、LLM-QLが他のLLMベースのレトリバーよりも大幅に優れたパフォーマンスを達成できることを示しており、ランキングのためにLLM-QLが推定したQLを使用して、ワードベースのQLを大きなマージンでアウトフォームします。

要約(オリジナル)

Dense retrieval is a crucial task in Information Retrieval (IR) and is the foundation for downstream tasks such as re-ranking. Recently, large language models (LLMs) have shown compelling semantic understanding capabilities and are appealing to researchers studying dense retrieval. LLMs, as decoder-style generative models, are competent at language generation while falling short on modeling global information due to the lack of attention to tokens afterward. Inspired by the classical word-based language modeling approach for IR, i.e., the query likelihood (QL) model, we seek to sufficiently utilize LLMs’ generative ability by QL maximization. However, instead of ranking documents with QL estimation, we introduce an auxiliary task of QL maximization to yield a better backbone for contrastively learning a discriminative retriever. We name our model as LLM-QL. To condense global document semantics to a single vector during QL modeling, LLM-QL has two major components, Attention Stop (AS) and Input Corruption (IC). AS stops the attention of predictive tokens to previous tokens until the ending token of the document. IC masks a portion of tokens in the input documents during prediction. Experiments on MSMARCO show that LLM-QL can achieve significantly better performance than other LLM-based retrievers and using QL estimated by LLM-QL for ranking outperforms word-based QL by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google