Fairness-guided Few-shot Prompting for Large Language Models

要約

タイトル：巨大言語モデルの公正性に着目した少量入力プロンプティング

要約：

– 巨大言語モデルは、少数の入出力例で構成されたプロンプトに基づいて、直接的に多数の下位タスクを解決する能力を持っているため、インコンテキスト学習に驚くべき能力を示している。
– しかし、以前の研究により、インコンテキスト学習には、トレーニング例のバリエーション、例の順序、およびプロンプト形式の変化による高い不安定性があることが示されている。
– したがって、適切なプロンプトの構築は、インコンテキスト学習のパフォーマンスを改善するために不可欠です。
– この論文では、予測バイアスの観点からこの問題を再評価します。
– 具体的には、予測バイアスを評価するメトリックを導入し、固定されたプロンプトの予測バイアスをラベルまたは特定の属性と比較します。
– その後、高いバイアスを持つプロンプトが常に満足のいく予測品質につながらないことを実証します。
– この観察に基づいて、グリーディー・サーチに基づく新しい検索戦略を提案し、インコンテキスト学習のパフォーマンスを向上させるほぼ最適なプロンプトを特定するために使用します。
– GPT-3などの主流の最新モデルを用いた包括的な実験を行い、方法が効果的で解釈可能な方法でモデルのインコンテキスト学習のパフォーマンスを向上させることが示されました。

要約(オリジナル)

Large language models have demonstrated surprising ability to perform in-context learning, i.e., these models can be directly applied to solve numerous downstream tasks by conditioning on a prompt constructed by a few input-output examples. However, prior research has shown that in-context learning can suffer from high instability due to variations in training examples, example order, and prompt formats. Therefore, the construction of an appropriate prompt is essential for improving the performance of in-context learning. In this paper, we revisit this problem from the view of predictive bias. Specifically, we introduce a metric to evaluate the predictive bias of a fixed prompt against labels or a given attributes. Then we empirically show that prompts with higher bias always lead to unsatisfactory predictive quality. Based on this observation, we propose a novel search strategy based on the greedy search to identify the near-optimal prompt for improving the performance of in-context learning. We perform comprehensive experiments with state-of-the-art mainstream models such as GPT-3 on various downstream tasks. Our results indicate that our method can enhance the model’s in-context learning performance in an effective and interpretable manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI