BatchPrompt: Accomplish more with less

要約

大規模言語モデル (LLM) のトークン制限が増加し続けるため、長いコンテキストを入力として使用できるようになったため、単一のデータ サンプルによるプロンプトはもはや効率的な方法ではなくなる可能性があります。
効率を向上させる簡単な戦略は、トークン制限 (例: gpt-3.5-turbo の場合は 8k、GPT-4 の場合は 32k) 内でデータをバッチ処理することであり、これを BatchPrompt と呼びます。
バッチ化されたデータを使用してプロンプトを表示するための最初の観察が 2 つあります。
まず、長いコンテキストでバッチ化されたデータを使用してプロンプトを表示すると、単一データのプロンプトに比べて必然的にパフォーマンスが低下することがわかります。
第 2 に、言語モデルのパフォーマンスは、デコーダ コンテキストの対応する変更により、バッチ データの位置および順序と大きく相関します。
効率を維持し、パフォーマンスの損失を克服するために、バッチ置換およびアンサンブル (BPE) と新しい自己反射ガイド型 EArly Stopping (SEAS) 技術を提案します。
私たちの包括的な実験評価では、BPE が質問応答 (Boolq)、テキスト含意 (RTE)、重複質問識別 (QQP) などの一般的な NLP タスクの範囲で BatchPrompt のパフォーマンスを大幅に向上できることが実証されています。
これらのパフォーマンスは、単一データ プロンプト (SinglePrompt) と同等かそれよりも優れていますが、BatchPrompt では必要な LLM 呼び出しと入力トークンがはるかに少なくなります (SinglePrompt とバッチ サイズ 32 の BatchPrompt の場合、LLM 呼び出しの数はわずか 9% ～ 16% を使用します)。
Boolq 精度 90.6% ～ 90.9% (トークン 27.4%)、QQP 精度 87.2% ～ 88.4% (トークン 18.6%)、RTE 精度 91.5% ～ 91.1% (トークン 30.8%)。
私たちの知る限り、これは大規模な言語モデルのプロンプト効率を技術的に改善する最初の研究です。
私たちのシンプルかつ効果的なアプローチが、大規模な言語モデルの将来の研究に光を当てることを願っています。
コードが公開されます。

要約(オリジナル)

As the ever-increasing token limits of large language models (LLMs) have enabled long context as input, prompting with single data samples might no longer an efficient way. A straightforward strategy improving efficiency is to batch data within the token limit (e.g., 8k for gpt-3.5-turbo; 32k for GPT-4), which we call BatchPrompt. We have two initial observations for prompting with batched data. First, we find that prompting with batched data in longer contexts will inevitably lead to worse performance, compared to single-data prompting. Second, the performance of the language model is significantly correlated with the positions and order of the batched data, due to the corresponding change in decoder context. To retain efficiency and overcome performance loss, we propose Batch Permutation and Ensembling (BPE), and a novel Self-reflection-guided EArly Stopping (SEAS) technique. Our comprehensive experimental evaluation demonstrates that BPE can boost the performance of BatchPrompt with a striking margin on a range of popular NLP tasks, including question answering (Boolq), textual entailment (RTE), and duplicate questions identification (QQP). These performances are even competitive with/higher than single-data prompting(SinglePrompt), while BatchPrompt requires much fewer LLM calls and input tokens (For SinglePrompt v.s. BatchPrompt with batch size 32, using just 9%-16% the number of LLM calls, Boolq accuracy 90.6% to 90.9% with 27.4% tokens, QQP accuracy 87.2% to 88.4% with 18.6% tokens, RTE accuracy 91.5% to 91.1% with 30.8% tokens). To the best of our knowledge, this is the first work to technically improve prompting efficiency of large language models. We hope our simple yet effective approach will shed light on the future research of large language models. The code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google