HPSS: Heuristic Prompting Strategy Search for LLM Evaluators

要約

テキスト評価のための大規模な言語モデル（LLMS）の採用は、自然言語加工（NLP）の分野でますます一般的になっているため、LLM評価者が人間の判断との調整を改善するためのプロンプトを最適化しようとしています。
ただし、評価基準や出力形式など、評価プロンプトの個々の要因を最適化すること、複数の要因の組み合わせの影響を無視することに限定されているため、評価パイプラインの最適化が不十分になります。
それにもかかわらず、複数の要因を調整するための行儀の良いプロンプト戦略を特定するには、広範な列挙が必要です。
この目的のために、評価プロンプトの8つの重要な要因を包括的に統合し、ヒューリスティックプロンプト戦略検索（HPS）と呼ばれる新しい自動プロンプト戦略最適化方法を提案します。
遺伝的アルゴリズムに触発されたHPSSは、LLM評価者向けの行儀のプロンプト戦略を見つけるために反復検索を実施します。
ヒューリスティック機能が使用され、検索プロセスを導き、アルゴリズムのパフォーマンスを向上させます。
4つの評価タスクにわたる広範な実験は、HPSSの有効性を示しており、人間が設計した評価プロンプトと既存の自動プロンプト最適化方法の両方を常に上回っています。

要約(オリジナル)

Since the adoption of large language models (LLMs) for text evaluation has become increasingly prevalent in the field of natural language processing (NLP), a series of existing works attempt to optimize the prompts for LLM evaluators to improve their alignment with human judgment. However, their efforts are limited to optimizing individual factors of evaluation prompts, such as evaluation criteria or output formats, neglecting the combinatorial impact of multiple factors, which leads to insufficient optimization of the evaluation pipeline. Nevertheless, identifying well-behaved prompting strategies for adjusting multiple factors requires extensive enumeration. To this end, we comprehensively integrate 8 key factors for evaluation prompts and propose a novel automatic prompting strategy optimization method called Heuristic Prompting Strategy Search (HPSS). Inspired by the genetic algorithm, HPSS conducts an iterative search to find well-behaved prompting strategies for LLM evaluators. A heuristic function is employed to guide the search process, enhancing the performance of our algorithm. Extensive experiments across four evaluation tasks demonstrate the effectiveness of HPSS, consistently outperforming both human-designed evaluation prompts and existing automatic prompt optimization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google