Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods

要約

大規模言語モデル (LLM) を微調整するには、通常、少なくとも数十億のパラメーターを更新する必要があります。
よりパラメーター効率の高いアプローチは、少数の学習可能なトークンのみを更新するプロンプト チューニング (PT) です。これとは異なり、インコンテキスト学習 (ICL) は、トレーニングを行わずに入力にサンプルを含めるだけでモデルを新しいタスクに適応させます。
ファインチューニングや少数ショット学習用の PT などの最適化ベースの手法を適用する場合、モデルはトレーニング例の小さなセットに特に適応されますが、ICL ではモデルは変更されません。
この違いにより、従来の学習方法は過学習になりやすくなります。
対照的に、ICL は数ショットのシナリオに対してあまり敏感ではありません。
ICL は過剰適合する傾向はありませんが、トレーニング サンプルに存在する情報を完全には抽出しません。
この作業では、ICL、PT、および敵対的攻撃からインスピレーションを得た手法である、コンテキスト認識型プロンプト チューニング (CPT) が導入されています。
私たちは、入力前にサンプルを連結するという ICL 戦略に基づいて構築していますが、これを PT のような学習によって拡張し、反復的な最適化を通じてコン​​テキストの埋め込みを洗練して、トレーニング サンプルからより深い洞察を抽出します。
入力形式と出力形式の固有の構造を考慮して、特定のコンテキスト トークンを慎重に変更します。
敵対的攻撃にインスピレーションを得て、コンテキスト内に存在するラベルに基づいて入力を調整し、損失を最大化するのではなく最小化することに重点を置きます。
さらに、ユーザーが提供するデータは本質的に価値があるという前提で、投影勾配降下法アルゴリズムを適用して、トークンの埋め込みを元の値に近づけます。
私たちの方法は、さまざまな LLM モデルを使用した複数の分類タスクにわたって優れた精度を達成することが示されています。

要約(オリジナル)

Fine-tuning Large Language Models (LLMs) typically involves updating at least a few billions of parameters. A more parameter-efficient approach is Prompt Tuning (PT), which updates only a few learnable tokens, and differently, In-Context Learning (ICL) adapts the model to a new task by simply including examples in the input without any training. When applying optimization-based methods, such as fine-tuning and PT for few-shot learning, the model is specifically adapted to the small set of training examples, whereas ICL leaves the model unchanged. This distinction makes traditional learning methods more prone to overfitting; in contrast, ICL is less sensitive to the few-shot scenario. While ICL is not prone to overfitting, it does not fully extract the information that exists in the training examples. This work introduces Context-aware Prompt Tuning (CPT), a method inspired by ICL, PT, and adversarial attacks. We build on the ICL strategy of concatenating examples before the input, but we extend this by PT-like learning, refining the context embedding through iterative optimization to extract deeper insights from the training examples. We carefully modify specific context tokens, considering the unique structure of input and output formats. Inspired by adversarial attacks, we adjust the input based on the labels present in the context, focusing on minimizing, rather than maximizing, the loss. Moreover, we apply a projected gradient descent algorithm to keep token embeddings close to their original values, under the assumption that the user-provided data is inherently valuable. Our method has been shown to achieve superior accuracy across multiple classification tasks using various LLM models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google