Black-box Prompt Learning for Pre-trained Language Models

要約

汎用の事前トレーニング済み言語モデル (PLM) の規模が拡大しているため、さまざまなダウンストリーム タスク間でより効率的な適応を検討する必要があります。
このホワイト ペーパーでは、クラウド インフラストラクチャとエッジ デバイス間の実用的な相互作用と共鳴するブラック ボックス離散プロンプト学習 (BDPL) を確立します。
特に、クラウドでモデルを微調整する代わりに、個別のプロンプトのいくつかのパラメーターのみを効率的に最適化するプロンプト学習によって PLM を適応させます。
さらに、入力が与えられた場合の出力を除いて、事前トレーニング済みモデルのパラメーターと勾配にアクセスできないというシナリオを検討します。
このブラックボックス設定は、クラウド インフラストラクチャを潜在的な攻撃や悪用から保護し、単一点障害を引き起こします。これは、現在のインフラストラクチャによるホワイトボックス設定よりも望ましい方法です。
このブラック ボックスの制約の下で、分散削減ポリシー勾配アルゴリズムを適用して、各離散プロンプトのカテゴリ分布におけるパラメーターの勾配を推定します。
私たちの方法に照らして、ユーザー デバイスは、API 呼び出しの範囲によって制限された PLM をクエリすることによって、タスクを効率的に調整できます。
RoBERTa と GPT-3 に関する私たちの実験は、提案されたアルゴリズムがクラウド デバイス コラボレーションの方法で 8 つのベンチマークで大幅な改善を達成することを示しています。
最後に、詳細なケーススタディを実施して、さまざまなデータサイズ、プロンプトの長さ、トレーニング予算、最適化の目的、プロンプトの転送可能性、および学習したプロンプトの説明に関して、この方法を包括的に分析します。
コードは https://github.com/shizhediao/Black-Box-Prompt-Learning で入手できます。

要約(オリジナル)

The increasing scale of general-purpose Pre-trained Language Models (PLMs) necessitates the study of more efficient adaptation across different downstream tasks. In this paper, we establish a Black-box Discrete Prompt Learning (BDPL) to resonate with pragmatic interactions between the cloud infrastructure and edge devices. Particularly, instead of fine-tuning the model in the cloud, we adapt PLMs by prompt learning, which efficiently optimizes only a few parameters of the discrete prompts. Moreover, we consider the scenario that we do not have access to the parameters and gradients of the pre-trained models, except for its outputs given inputs. This black-box setting secures the cloud infrastructure from potential attack and misuse to cause a single-point failure, which is preferable to the white-box counterpart by current infrastructures. Under this black-box constraint, we apply a variance-reduced policy gradient algorithm to estimate the gradients of parameters in the categorical distribution of each discrete prompt. In light of our method, the user devices can efficiently tune their tasks by querying the PLMs bounded by a range of API calls. Our experiments on RoBERTa and GPT-3 demonstrate that the proposed algorithm achieves significant improvement on eight benchmarks in a cloud-device collaboration manner. Finally, we conduct in-depth case studies to comprehensively analyze our method in terms of various data sizes, prompt lengths, training budgets, optimization objectives, prompt transferability, and explanations of the learned prompts. Our code will be available at https://github.com/shizhediao/Black-Box-Prompt-Learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google