Do prompt positions really matter?

要約

プロンプトベースのモデルは、ゼロショット学習および少数ショット学習の分野での目覚ましい進歩により、研究者から多くの注目を集めています。
効果的なプロンプト テンプレートの開発は重要な役割を果たします。
ただし、これまでの研究は主に、プロンプトの語彙選択、またはプロンプトの位置が固定された事前定義テンプレート内での初期化の埋め込みに焦点を当てていました。
この実証研究では、多様な自然言語処理タスクに対するプロンプト位置について、これまでで最も包括的な分析を実施します。
私たちの調査結果は、プロンプトの位置がモデルのパフォーマンスに及ぼす大きな影響を定量化しています。
我々は、先行研究で使用されたプロンプト位置が最適ではないことが多いことを観察しています。
これらの発見は、既存の即時エンジニアリング手法のギャップを埋める貴重な研究の方向性として、即時位置の最適化を示唆しています。

要約(オリジナル)

Prompt-based models have gathered a lot of attention from researchers due to their remarkable advancements in the fields of zero-shot and few-shot learning. Developing an effective prompt template plays a critical role. However, prior studies have mainly focused on prompt vocabulary selection or embedding initialization within a predefined template with the prompt position fixed. In this empirical study, we conduct the most comprehensive analysis to date of prompt position for diverse natural language process tasks. Our findings quantify the substantial impact prompt position has on model performance. We observe that the prompt position used in prior studies is often sub-optimal. These findings suggest prompt position optimisation as a valuable research direction to fill the gap in existing prompt engineering methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google