Plum: Prompt Learning using Metaheuristic

要約

大規模な言語モデルの出現以来、即時学習はこれらのモデルを最適化およびカスタマイズするための一般的な方法となっています。
思考連鎖などの特別なプロンプトにより、これらのモデル内のこれまで知られていなかった推論機能も明らかになりました。
しかし、効果的なプロンプトの発見の進歩は遅く、一般的なプロンプト最適化手法への要望が高まっています。
残念ながら、既存の即時学習方法は、真に「一般的」である、つまり自動、離散、ブラックボックス、勾配がなく、すべてを一度に解釈できるという基準を満たしているものはほとんどありません。
この論文では、学習を促進するための有望なアプローチとして、100 を超えるオプションを持つ離散非凸最適化手法の一分野であるメタヒューリスティックを紹介します。
私たちのパラダイム内で、ヒルクライミング、シミュレーテッドアニーリング、クロスオーバーあり/なしの遺伝的アルゴリズム、タブー検索、ハーモニー検索の 6 つの典型的な方法をテストし、ブラックボックスプロンプト学習と思考連鎖プロンプトチューニングにおけるそれらの有効性を実証します。
さらに、これらの手法を使用して、これまで知られていなかった人間が理解できるプロンプトを発見できることを示し、プロンプト最適化における可能性の宝庫への扉を開きます。
\url{https://github.com/research4pan/Plum} ですべてのコードをリリースします。

要約(オリジナル)

Since the emergence of large language models, prompt learning has become a popular method for optimizing and customizing these models. Special prompts, such as Chain-of-Thought, have even revealed previously unknown reasoning capabilities within these models. However, the progress of discovering effective prompts has been slow, driving a desire for general prompt optimization methods. Unfortunately, few existing prompt learning methods satisfy the criteria of being truly ‘general’, i.e., automatic, discrete, black-box, gradient-free, and interpretable all at once. In this paper, we introduce metaheuristics, a branch of discrete non-convex optimization methods with over 100 options, as a promising approach to prompt learning. Within our paradigm, we test six typical methods: hill climbing, simulated annealing, genetic algorithms with/without crossover, tabu search, and harmony search, demonstrating their effectiveness in black-box prompt learning and Chain-of-Thought prompt tuning. Furthermore, we show that these methods can be used to discover more human-understandable prompts that were previously unknown, opening the door to a cornucopia of possibilities in prompt optimization. We release all the codes in \url{https://github.com/research4pan/Plum}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google