APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking

要約

大規模言語モデル (LLM) により、再ランキングなど、さまざまなモジュールにわたる情報検索 (IR) が大幅に強化されました。
素晴らしいパフォーマンスにもかかわらず、LLM との現在のゼロショット関連性ランキングは、人間によるプロンプト エンジニアリングに大きく依存しています。
既存の自動プロンプトエンジニアリングアルゴリズムは主に言語モデリングと分類タスクに焦点を当てており、IR、特に再ランキングの領域は十分に検討されていません。
現在のプロンプト エンジニアリング アルゴリズムを関連性ランキングに直接適用することは、入力にクエリと長いパッセージのペアが統合されているため、ランキングの複雑さが分類タスクを超えているため困難です。
人間の労力を軽減し、再ランキングにおけるプロンプト最適化の可能性を引き出すために、APEER という名前の新しい自動プロンプト エンジニアリング アルゴリズムを導入します。
APEER は、フィードバックと設定の最適化を通じて、洗練されたプロンプトを繰り返し生成します。
4 つの LLM と 10 のデータセットを使用した広範な実験により、既存の最先端 (SoTA) 手動プロンプトと比較して APEER のパフォーマンスが大幅に向上していることが実証されました。
さらに、APEER によって生成されたプロンプトは、さまざまなタスクや LLM 間でより優れた転送性を示すことがわかりました。
コードは https://github.com/jincan333/APEER で入手できます。

要約(オリジナル)

Large Language Models (LLMs) have significantly enhanced Information Retrieval (IR) across various modules, such as reranking. Despite impressive performance, current zero-shot relevance ranking with LLMs heavily relies on human prompt engineering. Existing automatic prompt engineering algorithms primarily focus on language modeling and classification tasks, leaving the domain of IR, particularly reranking, underexplored. Directly applying current prompt engineering algorithms to relevance ranking is challenging due to the integration of query and long passage pairs in the input, where the ranking complexity surpasses classification tasks. To reduce human effort and unlock the potential of prompt optimization in reranking, we introduce a novel automatic prompt engineering algorithm named APEER. APEER iteratively generates refined prompts through feedback and preference optimization. Extensive experiments with four LLMs and ten datasets demonstrate the substantial performance improvement of APEER over existing state-of-the-art (SoTA) manual prompts. Furthermore, we find that the prompts generated by APEER exhibit better transferability across diverse tasks and LLMs. Code is available at https://github.com/jincan333/APEER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google