Introducing MAPO: Momentum-Aided Gradient Descent Prompt Optimization

要約

モーメンタム支援プロンプト最適化（MAPO）は、大規模言語モデル（LLM）のプロンプト最適化の効率と効果を向上させます。ProTeGiをベースに開発されたMAPOは、肯定的な自然言語の「勾配」と、プロンプトを効果的に改良するための運動量ベースの拡張を使用します。勾配の履歴を追跡することで、MAPOは局所的な極小値や振動を回避する。また、ビーム探索とUCB(Upper Confidence Bound)アルゴリズムを利用し、バランスの取れた候補の拡張と選択を行う。ベンチマークテストによると、MAPOはProTeGiよりも少ないAPIコール数でより速い収束時間とより高いF1スコアを達成しており、LLMにおける自動プロンプトエンジニアリングのための堅牢でスケーラブルなソリューションであることが証明されている。

要約(オリジナル)

Momentum-Aided Prompt Optimization (MAPO) enhances the efficiency and efficacy of prompt optimization for Large Language Models (LLMs). Building on ProTeGi, MAPO uses positive natural language ‘gradients’ and a momentum-based extension to refine prompts effectively. By tracking gradient history, MAPO avoids local minima and oscillations. It also utilizes beam search and an Upper Confidence Bound (UCB) algorithm for balanced candidate expansion and selection. Benchmark testing shows that MAPO achieves faster convergence time with fewer API calls and higher F1 scores than ProTeGi, proving it as a robust and scalable solution for automated prompt engineering in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL