Make Prompt-based Black-Box Tuning Colorful: Boosting Model Generalization from Three Orthogonal Perspectives

要約

大規模言語モデル（LLM）は、様々な自然言語処理（NLP）タスクにおいて、ますます大きな力を発揮している。しかし、これらのモデルを下流のタスク用にチューニングするには、通常、法外なコストが必要であるか、商業的な考慮のために利用できない。近年、勾配や隠れ表現にアクセスすることなくタスク固有のプロンプトを最適化することで、この問題に対処するブラックボックスチューニングが提案されている。しかし、ほとんどの既存の研究は、数ショット学習というシナリオの下で、勾配を用いない最適化の可能性をまだ十分に利用していない。本論文では、ブラックボックス最適化の効率と性能を向上させるための、簡単で補完的な技術群であるBBT-RGBについて述べる。具体的には、我々の手法には3つのプラグアンドプレイコンポーネントが含まれる：(1)高速な収束を促進し、オーバーフィッティングを緩和する2段階微分なし最適化戦略、(2)少数ショット設定下での新しい使用法を用いた自動バーバライザ構築、(3)命令検索と自動選択デモに基づくより良いプロンプト初期化ポリシー。自然言語理解と推論に関する様々なタスクにわたる広範な実験により、本手法の有効性が実証された。我々のコードは https://github.com/QiushiSun/BBT-RGB で公開されている。

要約(オリジナル)

Large language models (LLMs) have shown increasing power on various natural language processing (NLP) tasks. However, tuning these models for downstream tasks usually needs exorbitant costs or is unavailable due to commercial considerations. Recently, black-box tuning has been proposed to address this problem by optimizing task-specific prompts without accessing the gradients and hidden representations. However, most existing works have yet fully exploited the potential of gradient-free optimization under the scenario of few-shot learning. In this paper, we describe BBT-RGB, a suite of straightforward and complementary techniques for enhancing the efficiency and performance of black-box optimization. Specifically, our method includes three plug-and-play components: (1) Two-stage derivative-free optimization strategy that facilitates fast convergence and mitigates overfitting; (2) Automatic verbalizer construction with its novel usage under few-shot settings; (3) Better prompt initialization policy based on instruction search and auto-selected demonstration. Extensive experiments across various tasks on natural language understanding and inference demonstrate the effectiveness of our method. Our codes are publicly available at https://github.com/QiushiSun/BBT-RGB.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL