More Samples or More Prompts? Exploring Effective In-Context Sampling for LLM Few-Shot Prompt Engineering

要約

LLM プロンプト手法に関する既存の研究のほとんどは、1 つのプロンプト入力 (インコンテキスト学習または ICL) 内でより適切なデータ サンプルのセットを選択する方法にのみ焦点を当てていますが、LLM のパフォーマンスをさらに向上させるために複数のプロンプトを一緒に設計して活用できないのはなぜでしょうか。
?
この研究では、複数の ICL プロンプト入力の構築を最適化することで信頼性の高い予測を生成する、低リソース LLM プロンプト手法であるインコンテキスト サンプリング (ICS) を提案します。
4 つの NLI データセット (e-SNLI、Multi-NLI、ANLI、および Contract-NLI) と 1 つの QA データセット (CommonsenseQA) に対する 3 つのオープンソース LLM (FlanT5-XL、Mistral-7B、および Mixtral-8x7B) による広範な実験により、次のことがわかります。
ICS は LLM のパフォーマンスを一貫して向上させることができます。
3 つのデータ類似性に基づく ICS 戦略による詳細な評価は、これらの戦略が LLM のパフォーマンスをさらに向上させる可能性があることを示唆しており、これにより、新しくも有望な将来の研究の方向性が明らかになります。

要約(オリジナル)

While most existing works on LLM prompting techniques focus only on how to select a better set of data samples inside one single prompt input (In-Context Learning or ICL), why can not we design and leverage multiple prompts together to further improve the LLM’s performance? In this work, we propose In-Context Sampling (ICS), a low-resource LLM prompting technique to produce confident predictions by optimizing the construction of multiple ICL prompt inputs. Extensive experiments with three open-source LLMs (FlanT5-XL, Mistral-7B, and Mixtral-8x7B) on four NLI datasets (e-SNLI, Multi-NLI, ANLI, and Contract-NLI) and one QA dataset (CommonsenseQA) illustrate that ICS can consistently enhance LLMs’ performance. An in-depth evaluation with three data similarity-based ICS strategies suggests that these strategies can further elevate LLM’s performance, which sheds light on a new yet promising future research direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google