Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers

要約

最近の多くの研究は、戦略的なプロンプトを通じて大規模言語モデル (LLM) の有効性を高めることを目的としています。
特に、Optimization by PROmpting (OPRO) アプローチは、最適化タスクがタスクの精度を最大化する命令を見つけることであるオプティマイザーとして LLM を活用することにより、最先端のパフォーマンスを提供します。
このペーパーでは、LLaMa-2 ファミリや Mistral 7B などの比較的小規模な LLM を使用した自動プロンプトのための OPRO を再検討します。
私たちの調査では、小規模 LLM では OPRO の有効性が限られており、推論機能が限られており、最適化機能が制限されていることが明らかになりました。
将来の自動プロンプト エンジニアリングでは、モデルの機能と計算コストの両方を考慮することをお勧めします。
さらに、小規模 LLM の場合は、進行中の研究における効率的かつ効果的なプロンプト エンジニアリングを確保するため、堅牢なプロンプト ベースラインとして目的と方法論を明確に概説する直接指示を推奨します。

要約(オリジナル)

Numerous recent works aim to enhance the efficacy of Large Language Models (LLMs) through strategic prompting. In particular, the Optimization by PROmpting (OPRO) approach provides state-of-the-art performance by leveraging LLMs as optimizers where the optimization task is to find instructions that maximize the task accuracy. In this paper, we revisit OPRO for automated prompting with relatively small-scale LLMs, such as LLaMa-2 family and Mistral 7B. Our investigation reveals that OPRO shows limited effectiveness in small-scale LLMs, with limited inference capabilities constraining optimization ability. We suggest future automatic prompting engineering to consider both model capabilities and computational costs. Additionally, for small-scale LLMs, we recommend direct instructions that clearly outline objectives and methodologies as robust prompt baselines, ensuring efficient and effective prompt engineering in ongoing research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google