Improving Probability-based Prompt Selection Through Unified Evaluation and Analysis

要約

大規模な言語モデルのプロンプト エンジニアリングにおけるこれまでの研究では、特定のタスクの候補の中から最適なプロンプトを選択することを目的とした、勾配のない確率に基づくさまざまなプロンプト選択手法が導入されてきましたが、相互間の包括的で公正な比較を提供することはできませんでした。
この論文では、13 の一般的で多様な NLP タスクに関する広範な実験を実行することにより、既存の確率ベースのプロンプト選択方法を解釈および評価するための統一フレームワークを提案します。
既存の各手法は、入力と予測出力 (MI) の間の相互情報を最大化する手法の変形として解釈できることがわかりました。
この発見を利用して、MI の他のいくつかの組み合わせバリアントを開発し、最適なオラクル プロンプトのパフォーマンスに対する選択されたプロンプトのパフォーマンスの比として測定される、オラクル プロンプト選択方法の有効性を 87.79% から 94.98% に向上させます。
さらに、すべての方法が偏りがある可能性のあるモデルの出力確率分布に依存していることを考慮して、既存の方法と直交し、モデルの迅速な選択効果を高めるのに役立つ周辺化によるキャリブレーション（CBM）と呼ばれる新しいキャリブレーション方法を提案します。
最良の方法では 96.85% となり、キャリブレーションなしで Oracle プロンプト F1 の 99.44% を達成します。

要約(オリジナル)

Previous works in prompt engineering for large language models have introduced different gradient-free probability-based prompt selection methods that aim to choose the optimal prompt among the candidates for a given task but have failed to provide a comprehensive and fair comparison between each other. In this paper, we propose a unified framework to interpret and evaluate the existing probability-based prompt selection methods by performing extensive experiments on 13 common and diverse NLP tasks. We find that each of the existing methods can be interpreted as some variant of the method that maximizes mutual information between the input and the predicted output (MI). Utilizing this finding, we develop several other combinatorial variants of MI and increase the effectiveness of the oracle prompt selection method from 87.79% to 94.98%, measured as the ratio of the performance of the selected prompt to that of the optimal oracle prompt. Furthermore, considering that all the methods rely on the output probability distribution of the model that might be biased, we propose a novel calibration method called Calibration by Marginalization (CBM) that is orthogonal to the existing methods and helps increase the prompt selection effectiveness of the best method to 96.85%, achieving 99.44% of the oracle prompt F1 without calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google