Do prompt positions really matter?

要約

プロンプトベースのモデルは、ゼロショット学習および少数ショット学習の分野での目覚ましい進歩により、研究者から多くの注目を集めています。
効果的なプロンプト テンプレートの開発は重要な役割を果たします。
ただし、これまでの研究は主に、プロンプトの語彙検索や、プロンプトの位置が固定された事前定義テンプレート内への初期化の埋め込みに焦点を当てていました。
この実証研究では、さまざまな自然言語処理 (NLP) タスクに対するプロンプト ポジションについて、これまでで最も包括的な分析を実施します。
私たちの調査結果は、プロンプトの位置がモデルのパフォーマンスに及ぼす大きな影響を定量化しています。
我々は、先行研究で使用されたプロンプト位置が最適ではないことが多いことを観察しており、この観察は広く使用されている命令調整モデルでも一貫しています。
これらの発見は、将来的により堅牢なモデルを構築する潜在的な方法として、迅速なエンジニアリング方法論と位置を意識した命令調整を強化するための貴重な研究の方向性として、迅速な位置の最適化が示唆されています。

要約(オリジナル)

Prompt-based models have gathered a lot of attention from researchers due to their remarkable advancements in the fields of zero-shot and few-shot learning. Developing an effective prompt template plays a critical role. However, prior studies have mainly focused on prompt vocabulary searching or embedding initialization within a predefined template with the prompt position fixed. In this empirical study, we conduct the most comprehensive analysis to date of prompt position for diverse Natural Language Processing (NLP) tasks. Our findings quantify the substantial impact prompt position has on model performance. We observe that the prompt positions used in prior studies are often sub-optimal, and this observation is consistent even in widely used instruction-tuned models. These findings suggest prompt position optimisation as a valuable research direction to augment prompt engineering methodologies and prompt position-aware instruction tuning as a potential way to build more robust models in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google