CAPO: Cost-Aware Prompt Optimization

要約

大規模な言語モデル（LLM）は、単にプロンプ​​トに導かれる幅広いタスクを解決することにより、自然言語処理に革命をもたらしました。
しかし、彼らのパフォーマンスは迅速な策定に非常に敏感です。
自動化されたプロンプト最適化は、最適なプロンプトを見つけることによりこの課題に対処しますが、現在の方法ではかなりの数のLLMコールと入力トークンが必要であり、プロンプトの最適化が高価になります。
Capo（コスト認識の迅速な最適化）を紹介します。これは、Automl技術を統合することで迅速な最適化効率を高めるアルゴリズムです。
Capoは、LLMSをオペレーターとしての進化的アプローチであり、評価と多目的最適化を節約するためのレースを組み込み、パフォーマンスと迅速な長さのバランスをとります。
堅牢性を向上させるためにタスクの説明を活用しながら、指示と少数のショット例を共同で最適化します。
多様なデータセットとLLMSにわたる広範な実験は、Capoが11/15のケースで最先端の離散プロンプト最適化方法を上回ることを示しています。
私たちのアルゴリズムは、予算が少ない既により良いパフォーマンスを達成し、レースを通じて評価を節約し、長さのペナルティを介して平均プロンプトの長さを減らし、費用効率とコスト認識の両方にします。
少数のショットの例がなくても、Capoは競合他社よりも優れており、一般的に初期プロンプトに対して堅牢なままです。
Capoは、コスト効率を向上させることにより、迅速な最適化をより強力でアクセスしやすくするための重要なステップを表しています。

要約(オリジナル)

Large language models (LLMs) have revolutionized natural language processing by solving a wide range of tasks simply guided by a prompt. Yet their performance is highly sensitive to prompt formulation. While automated prompt optimization addresses this challenge by finding optimal prompts, current methods require a substantial number of LLM calls and input tokens, making prompt optimization expensive. We introduce CAPO (Cost-Aware Prompt Optimization), an algorithm that enhances prompt optimization efficiency by integrating AutoML techniques. CAPO is an evolutionary approach with LLMs as operators, incorporating racing to save evaluations and multi-objective optimization to balance performance with prompt length. It jointly optimizes instructions and few-shot examples while leveraging task descriptions for improved robustness. Our extensive experiments across diverse datasets and LLMs demonstrate that CAPO outperforms state-of-the-art discrete prompt optimization methods in 11/15 cases with improvements up to 21%p. Our algorithm achieves better performances already with smaller budgets, saves evaluations through racing, and decreases average prompt length via a length penalty, making it both cost-efficient and cost-aware. Even without few-shot examples, CAPO outperforms its competitors and generally remains robust to initial prompts. CAPO represents an important step toward making prompt optimization more powerful and accessible by improving cost-efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google