Understanding Prompt Tuning and In-Context Learning via Meta-Learning

要約

プロンプトは、タスクをターゲットにするために優先モデルを適応させる主な方法の1つです。
プロンプトの手動での構築に加えて、多くの迅速な最適化方法が文献で提案されています。
メソッド開発は主に経験的に駆動され、プロンプトの概念的な理解に重点が置かれていません。
このペーパーでは、ベイジアンビューを通して最適なプロンプトをどのように理解できるかについて説明します。これは、重みを調整することによってのみ克服できるプロンプトの基本的な制限を暗示しています。
このペーパーでは、メタトレーニングされたニューラルネットワークが、事前トレーニング分布よりもベイジアン予測因子としてどのように振る舞うかを詳細に説明しています。
最適なプロンプトは、これらのベイジアン予測因子の条件付けとして正式に研究でき、最適なプロンプトが不可能なターゲットタスクの基準を生み出します。
LSTMSとトランスに関する教育実験で理論をサポートし、プレフィックス調整とさまざまな重量調整方法の異なるバージョンを比較します。
また、トークンアルファベットの外側の実質値のベクトルのシーケンスであるソフトプレフィックスが、ハードトークンが達成できない方法でアクティベーションを操作することにより、訓練されていないネットワークの非常に効果的なプロンプトにつながる可能性があることを確認します。
これは、概念的なベイジアン理論を超えて重要な機構的側面を追加します。

要約(オリジナル)

Prompting is one of the main ways to adapt a pretrained model to target tasks. Besides manually constructing prompts, many prompt optimization methods have been proposed in the literature. Method development is mainly empirically driven, with less emphasis on a conceptual understanding of prompting. In this paper we discuss how optimal prompting can be understood through a Bayesian view, which also implies some fundamental limitations of prompting that can only be overcome by tuning weights. The paper explains in detail how meta-trained neural networks behave as Bayesian predictors over the pretraining distribution, whose hallmark feature is rapid in-context adaptation. Optimal prompting can be studied formally as conditioning these Bayesian predictors, yielding criteria for target tasks where optimal prompting is and is not possible. We support the theory with educational experiments on LSTMs and Transformers, where we compare different versions of prefix-tuning and different weight-tuning methods. We also confirm that soft prefixes, which are sequences of real-valued vectors outside the token alphabet, can lead to very effective prompts for trained and even untrained networks by manipulating activations in ways that are not achievable by hard tokens. This adds an important mechanistic aspect beyond the conceptual Bayesian theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google