Decoder Tuning: Efficient Language Understanding as Decoding

要約

事前トレーニング済みモデル (PTM) のサイズがますます大きくなっているため、ユーザーに推論 API、つまり Model-as-a-Service (MaaS) 設定のみを提供することが新たな慣例となっています。
モデル パラメーターが固定された状態で PTM を適応させるために、現在のアプローチのほとんどは入力側に焦点を当て、モデルを刺激して正解を求める強力なプロンプトを求めています。
ただし、勾配信号がないため入力側の適応は困難になる可能性があり、通常は数千の API クエリが必要となり、計算コストと時間コストが高くつくと考えられます。
これを考慮して、出力側のタスク固有のデコーダ ネットワークを対照的に最適化するデコーダ チューニング (DecT) を紹介します。
具体的には、DecT はまず、初期予測のプロンプト刺激出力スコアを抽出します。
その上で、出力表現に対して追加のデコーダ ネットワークをトレーニングして、事後データ知識を組み込みます。
勾配ベースの最適化により、DecT は数秒以内にトレーニングでき、サンプルごとに必要な PTM クエリは 1 つだけです。
経験的に、私たちは大規模な自然言語理解実験を実施し、DecT が最先端のアルゴリズムを大幅に上回り、200 倍の高速化を実現することを示しました。

要約(オリジナル)

With the evergrowing sizes of pre-trained models (PTMs), it has been an emerging practice to only provide the inference APIs for users, namely model-as-a-service (MaaS) setting. To adapt PTMs with model parameters frozen, most current approaches focus on the input side, seeking for powerful prompts to stimulate models for correct answers. However, we argue that input-side adaptation could be arduous due to the lack of gradient signals and they usually require thousands of API queries, resulting in high computation and time costs. In light of this, we present Decoder Tuning (DecT), which in contrast optimizes task-specific decoder networks on the output side. Specifically, DecT first extracts prompt-stimulated output scores for initial predictions. On top of that, we train an additional decoder network on the output representations to incorporate posterior data knowledge. By gradient-based optimization, DecT can be trained within several seconds and requires only one PTM query per sample. Empirically, we conduct extensive natural language understanding experiments and show that DecT significantly outperforms state-of-the-art algorithms with a $200\times$ speed-up.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google