The Importance of Directional Feedback for LLM-based Optimizers

要約

私たちは、自然言語と数値フィードバックを使用してテキスト空間での最大化問題を解決するための対話型オプティマイザーとして大規模言語モデル (LLM) を使用する可能性を研究しています。
古典的な最適化文献に触発されて、私たちは自然言語フィードバックを指向性と無指向性に分類します。前者は自然言語空間への一次フィードバックを一般化したものです。
LLM は、{方向性フィードバック} が提供された場合に特に最適化できることがわかりました。
この洞察に基づいて、過去の最適化トレースからの指向性フィードバックを合成して、繰り返しを通じて信頼性の高い改善を達成する、新しい LLM ベースのオプティマイザーを設計します。
経験的に、LLM ベースのオプティマイザーは、数学関数の最大化から詩を書くためのプロンプトの最適化に至るまで、最適化問題を解決する際に、既存の手法と比較してより安定して効率的であることが示されています。

要約(オリジナル)

We study the potential of using large language models (LLMs) as an interactive optimizer for solving maximization problems in a text space using natural language and numerical feedback. Inspired by the classical optimization literature, we classify the natural language feedback into directional and non-directional, where the former is a generalization of the first-order feedback to the natural language space. We find that LLMs are especially capable of optimization when they are provided with {directional feedback}. Based on this insight, we design a new LLM-based optimizer that synthesizes directional feedback from the historical optimization trace to achieve reliable improvement over iterations. Empirically, we show our LLM-based optimizer is more stable and efficient in solving optimization problems, from maximizing mathematical functions to optimizing prompts for writing poems, compared with existing techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google