Prompt Recursive Search: A Living Framework with Adaptive Growth in LLM Auto-Prompting

要約

大規模言語モデル（Large Language Models: LLM）は、自然言語処理（Natural Language Processing: NLP）領域における様々なタスクに対応するための卓越した能力を示し、様々なプロンプトの設計戦略によってその能力を大幅に向上させている。しかし、これらのプロンプトは有益ではあるが、それぞれ固有の限界を持っている。主なプロンプトの設計方法は2つある：ひとつは、Chain of Thought (CoT)に代表されるように、個々のデータセットに特化したプロンプトを手作業で作成するもので、Expert-Designed Prompts (EDP)と呼ばれる。これらのプロンプトは一度作成されると変更不可能であり、その有効性は設計者の専門知識によって制限される。LLMに適用した場合、EDPの静的な性質により、同じデータセット内の単純な問題にも複雑な問題にも画一的なアプローチとなり、単純な問題に対するトークンの使用が非効率的になる。第二の方法は、LLMによって自律的に生成されるプロンプト（LLM派生プロンプト（LDP）と呼ばれる）を使用するもので、特定の問題に対してカスタマイズされたソリューションを提供し、EDPの限界を緩和する。しかし、LDPは、複雑な問題に取り組む際に、解決策の計画過程でエラーが蓄積する可能性があるため、性能が低下する可能性がある。このような課題に対処するため、我々は、LLMを活用して問題に特化した解を生成し、トークンを節約する新しいプロンプト再帰的探索（PRS）フレームワークを考案した。このフレームワークには、問題の複雑さの評価と調整可能な構造が組み込まれており、エラーの可能性を確実に低減する。我々は、様々なドメインの様々なデータセットにおいて、パラメータ数の異なるLLMを用いた広範な実験により、PRSフレームワークの有効性を実証した。CoT法と比較して、PRS法はLlama3-7Bモデルを用いてBBHデータセットの精度を8%向上させ、22%の改善を達成した。

要約(オリジナル)

Large Language Models (LLMs) exhibit remarkable proficiency in addressing a diverse array of tasks within the Natural Language Processing (NLP) domain, with various prompt design strategies significantly augmenting their capabilities. However, these prompts, while beneficial, each possess inherent limitations. The primary prompt design methodologies are twofold: The first, exemplified by the Chain of Thought (CoT), involves manually crafting prompts specific to individual datasets, hence termed Expert-Designed Prompts (EDPs). Once these prompts are established, they are unalterable, and their effectiveness is capped by the expertise of the human designers. When applied to LLMs, the static nature of EDPs results in a uniform approach to both simple and complex problems within the same dataset, leading to the inefficient use of tokens for straightforward issues. The second method involves prompts autonomously generated by the LLM, known as LLM-Derived Prompts (LDPs), which provide tailored solutions to specific problems, mitigating the limitations of EDPs. However, LDPs may encounter a decline in performance when tackling complex problems due to the potential for error accumulation during the solution planning process. To address these challenges, we have conceived a novel Prompt Recursive Search (PRS) framework that leverages the LLM to generate solutions specific to the problem, thereby conserving tokens. The framework incorporates an assessment of problem complexity and an adjustable structure, ensuring a reduction in the likelihood of errors. We have substantiated the efficacy of PRS framework through extensive experiments using LLMs with different numbers of parameters across a spectrum of datasets in various domains. Compared to the CoT method, the PRS method has increased the accuracy on the BBH dataset by 8% using Llama3-7B model, achieving a 22% improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL