StablePT: Towards Stable Prompting for Few-shot Learning via Input Separation

要約

大規模な言語モデルは、プロンプトを使用して効果的な数回の学習者になる能力を示しており、データ不足での学習のパラダイムを一変させます。
ただし、このアプローチはプロンプト初期化の品質に大きく依存しており、実行ごとに常に大きなばらつきを示します。
このような特性により、プロンプト チューニングの信頼性が非常に低くなり、不適切に構築されたプロンプトに対して脆弱になり、より現実世界のアプリケーションへの拡張が制限されます。
この問題に取り組むために、プロンプトの初期化によってもたらされるノイズを軽減するために、ハード プロンプトとソフト プロンプトを別個の入力として扱うことを提案します。
さらに、モデルのパフォーマンスを維持するためにトレーニング プロセスでクラス認識情報を利用するための対照学習を使用してソフト プロンプトを最適化します。
実験結果は、 \sysname が最先端の手法よりも精度が 7.20% 優れており、標準偏差が平均 2.02 減少することを示しています。
さらに、広範な実験により、さまざまなタスクをカバーする 7 つのデータセットにわたるその堅牢性と安定性が強調されています。

要約(オリジナル)

Large language models have shown their ability to become effective few-shot learners with prompting, revoluting the paradigm of learning with data scarcity. However, this approach largely depends on the quality of prompt initialization, and always exhibits large variability among different runs. Such property makes prompt tuning highly unreliable and vulnerable to poorly constructed prompts, which limits its extension to more real-world applications. To tackle this issue, we propose to treat the hard prompt and soft prompt as separate inputs to mitigate noise brought by the prompt initialization. Furthermore, we optimize soft prompts with contrastive learning for utilizing class-aware information in the training process to maintain model performance. Experimental results demonstrate that \sysname outperforms state-of-the-art methods by 7.20% in accuracy and reduces the standard deviation by 2.02 on average. Furthermore, extensive experiments underscore its robustness and stability across 7 datasets covering various tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google