Prompt Space Optimizing Few-shot Reasoning Success with Large Language Models

要約

プロンプト エンジニアリングは、明示的かつ具体的な指示を提供することで大規模言語モデル (LLM) の能力を強化するために不可欠な手法です。
これにより、LLM は算術推論、質問応答、要約、関係抽出、機械翻訳、感情分析などのさまざまなタスクで優れた能力を発揮できるようになります。
研究者たちは、思考連鎖 (CoT)、ゼロ CoT、コンテキスト内学習など、さまざまなプロンプト エンジニアリング戦略を積極的に模索してきました。
しかし、現在のアプローチには最適なプロンプトを決定するための強固な理論的基盤が欠けているという事実から未解決の問題が生じます。
プロンプト エンジニアリングでこの問題に対処するために、私たちはプロンプト スペースと呼ばれる新しく効果的なアプローチを提案します。
私たちの方法論では、テキスト埋め込みを利用して行列分解によって基底ベクトルを取得し、すべてのプロンプトを表すための空間を構築します。
プロンプト スペースは、10 の公開推論ベンチマークにおいて、最先端のプロンプト パラダイムを大幅に上回ります。
特に、CoT 手法と「ステップごとに考えてみましょう」というプロンプトを使用しない場合、プロンプト スペースは少数ショット手法よりも優れたパフォーマンスを示します。
全体として、私たちのアプローチは、シンプルで効果的なプロンプトを選択するための堅牢で基本的な理論的フレームワークを提供します。
この進歩は、LLM のさまざまなアプリケーションに対する迅速なエンジニアリングの改善に向けた重要な一歩となります。

要約(オリジナル)

Prompt engineering is an essential technique for enhancing the abilities of large language models (LLMs) by providing explicit and specific instructions. It enables LLMs to excel in various tasks, such as arithmetic reasoning, question answering, summarization, relation extraction, machine translation, and sentiment analysis. Researchers have been actively exploring different prompt engineering strategies, such as Chain of Thought (CoT), Zero-CoT, and In-context learning. However, an unresolved problem arises from the fact that current approaches lack a solid theoretical foundation for determining optimal prompts. To address this issue in prompt engineering, we propose a new and effective approach called Prompt Space. Our methodology utilizes text embeddings to obtain basis vectors by matrix decomposition, and then constructs a space for representing all prompts. Prompt Space significantly outperforms state-of-the-art prompt paradigms on ten public reasoning benchmarks. Notably, without the help of the CoT method and the prompt ‘Let’s think step by step’, Prompt Space shows superior performance over the few-shot method. Overall, our approach provides a robust and fundamental theoretical framework for selecting simple and effective prompts. This advancement marks a significant step towards improving prompt engineering for a wide variety of applications in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google