Auto-Demo Prompting: Leveraging Generated Outputs as Demonstrations for Enhanced Batch Prompting

要約

バッチ プロンプトは、計算効率の向上を目的として、複数の入力を同時に処理するために使用される大規模言語モデル (LLM) の一般的な手法です。
ただし、バッチ サイズが増加すると、モデルが長いコンテキスト入力を処理することが難しくなるため、パフォーマンスの低下が発生することがよくあります。
これらの問題を軽減しようとする既存の方法は、バッチ プロンプト自体の設計を改善するのではなく、バッチ データの配置と多数決のみに依存しています。
この論文では、バッチ内の以前の質問からの質問と出力のペアを、その後の回答推論のデモンストレーションとして活用する新しいアプローチである「自動デモ プロンプティング」を提案することで、これらの制限に対処します。
LLM の自己回帰生成プロセス内で自動デモ プロンプティングがどのように機能するかに関する正式な理論分析を提供し、モデルの内部表現を最適化するために以前の出力をどのように利用するかを示します。
私たちの方法は、バッチ プロンプトと少数ショット プロンプトの間のギャップを効果的に橋渡しし、トークンの使用量をわずかに犠牲にするだけでパフォーマンスを向上させます。
5 つの NLP タスクにわたる実験結果では、パフォーマンスの低下を軽減し、場合によっては単一のプロンプトを上回るパフォーマンスが得られることが実証されています。
さらに、バッチ プロンプト内でデモンストレーションの選択などの少数ショット学習手法を適用するための新しい道が開かれ、実際のアプリケーション向けの堅牢なソリューションになります。

要約(オリジナル)

Batch prompting is a common technique in large language models (LLMs) used to process multiple inputs simultaneously, aiming to improve computational efficiency. However, as batch sizes increase, performance degradation often occurs due to the model’s difficulty in handling lengthy context inputs. Existing methods that attempt to mitigate these issues rely solely on batch data arrangement and majority voting rather than improving the design of the batch prompt itself. In this paper, we address these limitations by proposing ‘Auto-Demo Prompting,’ a novel approach that leverages the question-output pairs from earlier questions within a batch as demonstrations for subsequent answer inference. We provide a formal theoretical analysis of how Auto-Demo Prompting functions within the autoregressive generation process of LLMs, illustrating how it utilizes prior outputs to optimize the model’s internal representations. Our method effectively bridges the gap between batch prompting and few-shot prompting, enhancing performance with only a slight compromise in token usage. Experimental results across five NLP tasks demonstrate its effectiveness in mitigating performance degradation and occasionally outperforming single prompts. Furthermore, it opens new avenues for applying few-shot learning techniques, such as demonstration selection, within batch prompting, making it a robust solution for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google