Introducing MAPO: Momentum-Aided Gradient Descent Prompt Optimization

要約

Momentum-Aided Prompt Optimization (MAPO) は、大規模言語モデル (LLM) のプロンプト最適化の効率と有効性を強化します。
ProTeGi に基づいて構築されている MAPO は、ポジティブな自然言語の「勾配」と運動量ベースの拡張機能を使用して、プロンプトを効果的に改良します。
MAPO は勾配履歴を追跡することにより、極小値や振動を回避します。
また、バランスの取れた候補の拡張と選択のために、ビーム検索と上限信頼限界 (UCB) アルゴリズムも利用します。
ベンチマーク テストでは、MAPO が ProTeGi よりも少ない API 呼び出しと高い F1 スコアでより速いコンバージェンス時間を実現し、LLM での自動プロンプト エンジニアリングのための堅牢でスケーラブルなソリューションであることが証明されています。

要約(オリジナル)

Momentum-Aided Prompt Optimization (MAPO) enhances the efficiency and efficacy of prompt optimization for Large Language Models (LLMs). Building on ProTeGi, MAPO uses positive natural language ‘gradients’ and a momentum-based extension to refine prompts effectively. By tracking gradient history, MAPO avoids local minima and oscillations. It also utilizes beam search and an Upper Confidence Bound (UCB) algorithm for balanced candidate expansion and selection. Benchmark testing shows that MAPO achieves faster convergence time with fewer API calls and higher F1 scores than ProTeGi, proving it as a robust and scalable solution for automated prompt engineering in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google