Survival of the Most Influential Prompts: Efficient Black-Box Prompt Search via Clustering and Pruning

要約

プロンプトベースの学習は、大規模な事前トレーニング済み言語モデル (LLM) にとって効果的なパラダイムであり、数回の学習、さらにはゼロ回の学習を可能にします。
ブラックボックス プロンプト検索は、勾配のない最適化という独特の特性により最近関心が高まっており、サービスとしてのモデルの使用に特に便利で強力であることが証明されています。
ただし、組み合わせ最適化の離散的な性質と複雑さにより、最新のブラックボックス アプローチの効率性が妨げられています。
検索アルゴリズムに関する広範な研究にもかかわらず、検索スペースの設計と最適化の重要な側面はほとんど見落とされてきました。
この論文では、まず LLM をプロンプトすることによって感度分析を実行し、少数のトークンだけが LLM 予測に不釣り合いな量の影響を与えることを明らかにしました。
この洞察を活用して、私たちは効率的なブラックボックス プロンプト検索のためのクラスタリングとプルーニング (ClaPS) を提案します。これは、影響力のあるプロンプト トークンのみに焦点を当てるために、最初に検索スペースをクラスタリングしてプルーニングするシンプルなブラック ボックス検索方法です。
ClaPS は、プルーニングされた検索空間内で単純な検索方法を採用することによって、さまざまなタスクと LLM にわたって最先端のパフォーマンスを実現し、検索コストを大幅に削減しながら、複雑なアプローチのパフォーマンスを上回ります。
私たちの調査結果は、ブラックボックスのプロンプトベースの学習の有用性と効率性の両方を向上させる上で、検索空間の設計と最適化が重要な役割を果たしていることを強調しています。

要約(オリジナル)

Prompt-based learning has been an effective paradigm for large pretrained language models (LLM), enabling few-shot or even zero-shot learning. Black-box prompt search has received growing interest recently for its distinctive properties of gradient-free optimization, proven particularly useful and powerful for model-as-a-service usage. However, the discrete nature and the complexity of combinatorial optimization hinder the efficiency of modern black-box approaches. Despite extensive research on search algorithms, the crucial aspect of search space design and optimization has been largely overlooked. In this paper, we first conduct a sensitivity analysis by prompting LLM, revealing that only a small number of tokens exert a disproportionate amount of influence on LLM predictions. Leveraging this insight, we propose the Clustering and Pruning for Efficient Black-box Prompt Search (ClaPS), a simple black-box search method that first clusters and prunes the search space to focus exclusively on influential prompt tokens. By employing even simple search methods within the pruned search space, ClaPS achieves state-of-the-art performance across various tasks and LLMs, surpassing the performance of complex approaches while significantly reducing search costs. Our findings underscore the critical role of search space design and optimization in enhancing both the usefulness and the efficiency of black-box prompt-based learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google