Fairness-guided Few-shot Prompting for Large Language Models

要約

大規模な言語モデルは、コンテキスト内学習を実行する驚くべき能力を実証しています。つまり、これらのモデルを直接適用して、いくつかの入出力例によって構築されたプロンプトを条件付けすることで、多数のダウンストリーム タスクを解決できます。
ただし、以前の研究では、トレーニング例、例の順序、およびプロンプト形式の違いにより、コンテキスト内学習が非常に不安定になる可能性があることが示されています。
したがって、適切なプロンプトの構築は、インコンテキスト学習のパフォーマンスを向上させるために不可欠です。
この論文では、予測バイアスの観点からこの問題を再検討します。
具体的には、ラベルまたは特定の属性に対する固定プロンプトの予測バイアスを評価するメトリックを導入します。
次に、バイアスが高いプロンプトは常に不十分な予測品質につながることを経験的に示します。
この観察に基づいて、貪欲な検索に基づく新しい検索戦略を提案し、コンテキスト内学習のパフォーマンスを向上させるための最適に近いプロンプトを特定します。
さまざまなダウンストリーム タスクについて、GPT-3 などの最先端のメインストリーム モデルを使用して包括的な実験を行います。
私たちの結果は、私たちの方法がモデルのコンテキスト内学習パフォーマンスを効果的かつ解釈可能な方法で強化できることを示しています。

要約(オリジナル)

Large language models have demonstrated surprising ability to perform in-context learning, i.e., these models can be directly applied to solve numerous downstream tasks by conditioning on a prompt constructed by a few input-output examples. However, prior research has shown that in-context learning can suffer from high instability due to variations in training examples, example order, and prompt formats. Therefore, the construction of an appropriate prompt is essential for improving the performance of in-context learning. In this paper, we revisit this problem from the view of predictive bias. Specifically, we introduce a metric to evaluate the predictive bias of a fixed prompt against labels or a given attributes. Then we empirically show that prompts with higher bias always lead to unsatisfactory predictive quality. Based on this observation, we propose a novel search strategy based on the greedy search to identify the near-optimal prompt for improving the performance of in-context learning. We perform comprehensive experiments with state-of-the-art mainstream models such as GPT-3 on various downstream tasks. Our results indicate that our method can enhance the model’s in-context learning performance in an effective and interpretable manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google