LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning

要約

スキルを習得するには、一般に、実践者による実践的な経験と、メンターによる洞察力に富んだ高レベルの指導の両方が必要です。
この戦略は、複雑な非凸最適化問題を解決する場合にもうまく機能しますか?
ここでは、一般的な勾配ベースのオプティマイザーが規律ある実行者のように機能し、各ステップで局所的に最適な更新を行います。
大規模言語モデル (LLM) は、高レベルの指導者に似た、自然言語の指示から推論することで、より良い解決策を検索することもできます。
この論文では、これら 2 つの参加者が互いに補完し合い、複合最適化フレームワークとして効果的に連携できることを示します。
協調的な最適化は、勾配ベースのオプティマイザーと LLM ベースのオプティマイザーを交互に行うことによって実現されます。
勾配ベースの最適化の前段階で記録されたパラメーターの軌跡を考慮して、改善される可能性のあるソリューションを生成するように LLM に指示します。
LLM の推論結果は、勾配最適化の次の段階の開始点として使用されます。
プロンプトチューニングにおけるこの最適化フレームワークの有効性を検証します。
局所的に厳密な勾配ベースのオプティマイザーと高レベルの演繹的 LLM ベースのオプティマイザーの両方を活用することにより、複合最適化手法により、さまざまなタスクで競合ベースラインを上回る改善が一貫して得られます。
私たちの結果は、従来の勾配ベースの最適化と LLM の推論能力の相乗効果を示しています。
コードは https://github.com/guozix/LLM-catalyst でリリースされています。

要約(オリジナル)

Mastering a skill generally relies on both hands-on experience from doers and insightful, high-level guidance by mentors. Will this strategy also work well for solving complex non-convex optimization problems? Here, a common gradient-based optimizer acts like a disciplined doer, making locally optimal updates at each step. Large Language Models (LLMs) can also search for better solutions by inferring from natural language instructions, akin to a high-level mentor. In this paper, we show that these two participators are complementary to each other and can effectively collaborate as a combined optimization framework. The collaborative optimization is achieved by alternating between the gradient-based and LLM-based optimizers. We instruct LLMs to generate possibly improved solutions by taking parameter trajectories recorded during the previous stage of gradient-based optimization into account. Inferred results of LLMs are used as restarting points for the next stage of gradient optimization. We verify the effectiveness of this optimization framework on prompt tuning. By leveraging both the locally rigorous gradient-based optimizer and the high-level deductive LLM-based optimizer, the combined optimization method consistently yields improvements over competitive baselines on a variety of tasks. Our results demonstrate the synergistic effect of conventional gradient-based optimization and the inference ability of LLMs. The code is released at https://github.com/guozix/LLM-catalyst.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google