An Investigation of Prompt Variations for Zero-shot LLM-based Rankers

要約

ゼロショットの大手言語モデル（LLMS）に基づいたランカーの有効性に対するプロンプトで使用される特定のコンポーネントと文言の影響を体系的に理解します。
LLMSに基づくいくつかのゼロショットランキング方法が最近提案されました。
多くの側面の中で、方法は（1）それらが実装するランキングアルゴリズム、例えばポイントワイズ対リストごとに異なります。
プロンプトでは、例えば、役割決定（ロールプレイング）の使用またはこれを表現するために使用される実際の単語。
現在、パフォーマンスの違いが基礎となるランキングアルゴリズムによるものであるか、プロンプトで使用される単語の選択の良い選択などの偽の要因が原因であるかどうかは不明です。
この混乱は、将来の研究を損なうことが危険です。
大規模な実験と分析を通じて、ランキングアルゴリズムはゼロショットLLMランキングの方法の違いに寄与することがわかります。
ただし、LLMバックボーンもそうですが、さらに重要なことは、迅速なコンポーネントと文言の選択がランキングに影響することです。
実際、私たちの実験では、これらの後者の要素は、実際のランキングアルゴリズムよりもランカーの有効性により大きな影響を与え、ランキング方法間の違いが迅速な変動を考慮すると、よりぼやけていることがわかります。

要約(オリジナル)

We provide a systematic understanding of the impact of specific components and wordings used in prompts on the effectiveness of rankers based on zero-shot Large Language Models (LLMs). Several zero-shot ranking methods based on LLMs have recently been proposed. Among many aspects, methods differ across (1) the ranking algorithm they implement, e.g., pointwise vs. listwise, (2) the backbone LLMs used, e.g., GPT3.5 vs. FLAN-T5, (3) the components and wording used in prompts, e.g., the use or not of role-definition (role-playing) and the actual words used to express this. It is currently unclear whether performance differences are due to the underlying ranking algorithm, or because of spurious factors such as better choice of words used in prompts. This confusion risks to undermine future research. Through our large-scale experimentation and analysis, we find that ranking algorithms do contribute to differences between methods for zero-shot LLM ranking. However, so do the LLM backbones — but even more importantly, the choice of prompt components and wordings affect the ranking. In fact, in our experiments, we find that, at times, these latter elements have more impact on the ranker’s effectiveness than the actual ranking algorithms, and that differences among ranking methods become more blurred when prompt variations are considered.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google