Large Language Models as Optimizers

要約

最適化は至る所で行われています。
微分ベースのアルゴリズムはさまざまな問題に対する強力なツールですが、勾配が存在しないため、現実世界の多くのアプリケーションに課題が課されます。
この研究では、最適化タスクが自然言語で記述される大規模言語モデル (LLM) をオプティマイザーとして活用するためのシンプルで効果的なアプローチである Optimization by PROmpting (OPRO) を提案します。
各最適化ステップで、LLM は、以前に生成されたソリューションとその値を含むプロンプトから新しいソリューションを生成し、新しいソリューションが評価されて、次の最適化ステップのプロンプトに追加されます。
まず、線形回帰と巡回セールスマンの問題について OPRO を紹介し、次に、タスクの精度を最大化する指示を見つけることを目的としたプロンプト最適化に進みます。
さまざまな LLM を使用して、OPRO によって最適化された最適なプロンプトは、人間が設計したプロンプトよりも、GSM8K では最大 8%、ビッグベンチ ハード タスクでは最大 50% 優れていることを実証しました。

要約(オリジナル)

Optimization is ubiquitous. While derivative-based algorithms have been powerful tools for various problems, the absence of gradient imposes challenges on many real-world applications. In this work, we propose Optimization by PROmpting (OPRO), a simple and effective approach to leverage large language models (LLMs) as optimizers, where the optimization task is described in natural language. In each optimization step, the LLM generates new solutions from the prompt that contains previously generated solutions with their values, then the new solutions are evaluated and added to the prompt for the next optimization step. We first showcase OPRO on linear regression and traveling salesman problems, then move on to prompt optimization where the goal is to find instructions that maximize the task accuracy. With a variety of LLMs, we demonstrate that the best prompts optimized by OPRO outperform human-designed prompts by up to 8% on GSM8K, and by up to 50% on Big-Bench Hard tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google