Revisiting Automated Prompting: Are We Actually Doing Better?

要約

現在の文献では、大規模言語モデル (LLM) が優れた少数ショット学習者であり、プロンプトを表示することで、少数ショット学習設定におけるさまざまな下流タスクのパフォーマンスが大幅に向上することが実証されています。
その後、人間主導のプロンプトを自動化する試みが行われ、ある程度の進歩が達成されました。
特に、その後の研究では、特定の K ショット学習シナリオでは自動化が微調整よりも優れたパフォーマンスを発揮できることが実証されています。
このペーパーでは、6 つの異なる下流タスクと広範囲の K ショット学習設定に関する自動プロンプトの手法を再検討します。
自動プロンプトが常に単純な手動プロンプトを上回るパフォーマンスを発揮するわけではないことがわかりました。
私たちの研究では、微調整に加えて、この一連の研究では手動プロンプトをベースラインとして使用する必要があることが示唆されています。

要約(オリジナル)

Current literature demonstrates that Large Language Models (LLMs) are great few-shot learners, and prompting significantly increases their performance on a range of downstream tasks in a few-shot learning setting. An attempt to automate human-led prompting followed, with some progress achieved. In particular, subsequent work demonstrates automation can outperform fine-tuning in certain K-shot learning scenarios. In this paper, we revisit techniques for automated prompting on six different downstream tasks and a larger range of K-shot learning settings. We find that automated prompting does not consistently outperform simple manual prompts. Our work suggests that, in addition to fine-tuning, manual prompts should be used as a baseline in this line of research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google