Adaptive Prompting: Ad-hoc Prompt Composition for Social Bias Detection

要約

指導の微調整に関する最近の進歩により、明示的な推論ステップなどの大規模な言語モデルのさまざまなプロンプトテクニックの開発が生まれました。
ただし、手法の成功は、提供されたタスク、言語モデル、コンテキストなど、さまざまなパラメーターに依存します。
したがって、効果的なプロンプトを見つけることは、多くの場合、試行錯誤のプロセスです。
自動プロンプトへの既存のアプローチのほとんどは、テクニックの構成と入力への依存の代わりに個々のテクニックを最適化することを目的としています。
このギャップを埋めるために、特定の入力の最適なプロンプト構成アドホックを予測する適応プロンプトアプローチを提案します。
私たちは、意味の理解を必要とする非常にコンテキスト依存的なタスクである社会的バイアス検出にアプローチを適用します。
3つのデータセットで3つの大きな言語モデルで評価し、構成を個々のテクニックやその他のベースラインと比較します。
結果は、効果的な迅速な構成を見つけることの重要性を強調しています。
当社のアプローチは、高い検出パフォーマンスを堅牢に保証し、いくつかの設定で最適です。
さらに、他のタスクに関する最初の実験は、その一般化可能性をサポートしています。

要約(オリジナル)

Recent advances on instruction fine-tuning have led to the development of various prompting techniques for large language models, such as explicit reasoning steps. However, the success of techniques depends on various parameters, such as the task, language model, and context provided. Finding an effective prompt is, therefore, often a trial-and-error process. Most existing approaches to automatic prompting aim to optimize individual techniques instead of compositions of techniques and their dependence on the input. To fill this gap, we propose an adaptive prompting approach that predicts the optimal prompt composition ad-hoc for a given input. We apply our approach to social bias detection, a highly context-dependent task that requires semantic understanding. We evaluate it with three large language models on three datasets, comparing compositions to individual techniques and other baselines. The results underline the importance of finding an effective prompt composition. Our approach robustly ensures high detection performance, and is best in several settings. Moreover, first experiments on other tasks support its generalizability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google