Global Prompt Cell: A Portable Control Module for Effective Prompt

要約

【タイトル】
Global Prompt Cell: 有効なプロンプトを可能にするポータブル制御モジュール

【要約】
・プロンプトチューニングとは、ダウンストリームタスクのパラメータを固定しつつ、最初の層の入力にトレーニング可能な埋め込みを挿入する新しいモデルチューニング手法。
・ただし、従来の方法は、プロンプト埋め込みの初期化に焦点を当ててきた。
・プロンプト埋め込みを合理的な方法でトレーニングおよび利用する方法に関する問題は、プロンプトチューニングの効果に制限をかける要因になっている。
・この問題に対処するために、全エンコーダ層でプロンプト情報を選択的に保持するポータブルな制御モジュール「Global Prompt Cell（GPC）」を導入する。
・実験結果により、Vanilla Prompt Tuningと比較して、SuperGLUEデータセットで5.8％の改善が確認された。

【要点】
・プロンプトチューニングとは、ダウンストリームタスクのパラメータを固定しつつ、最初の層の入力にトレーニング可能な埋め込みを挿入するモデルチューニング手法。
・プロンプト埋め込みの初期化には、従来の手法に主に注目されてきた。
・プロンプト埋め込みを合理的にトレーニングして活用することが、プロンプトチューニングの効果に大きく影響する。
・そのため、ポータブルな制御モジュール「Global Prompt Cell（GPC）」を導入する。
・GPCは全エンコーダ層でプロンプト情報を選択的に保有し、効率的にトレーニングすることができる。
・実験により、SuperGLUEデータセットにおいてVanilla Prompt Tuningと比較して5.8％の改善が確認された。

要約(オリジナル)

As a novel approach to tuning pre-trained models, prompt tuning involves freezing the parameters in downstream tasks while inserting trainable embeddings into inputs in the first layer.However,previous methods have mainly focused on the initialization of prompt embeddings. The question of how to train and utilize prompt embeddings in a reasonable way has become aa limiting factor in the effectiveness of prompt tuning. To address this issue, we introduce the Global Prompt Cell (GPC), a portable control module for prompt tuning that selectively preserves prompt information across all encoder layers. Our experimental results demonstrate a 5.8% improvement on SuperGLUE datasets compared to vanilla prompt tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI