Efficient Prompting Methods for Large Language Models: A Survey

要約

プロンプトは、内部パラメータを変更せずに大規模な言語モデルを特定の自然言語処理タスクに適応させるための主流のパラダイムです。
したがって、詳細な補足知識を外部プロンプトに統合する必要があり、実際のアプリケーションでは必然的に余分な人的労力と計算負荷が生じます。
リソースの消費を軽減する効果的なソリューションとして、効率的なプロンプト方法が幅広い注目を集めています。
さまざまなプロンプト コンポーネントの自動プロンプト エンジニアリングと、連続空間および離散空間でのプロンプト圧縮について深く議論するための高レベルの数式を提供します。
最後に、この分野に興味を持つ研究者にインスピレーションを与える、有望な将来の方向性を強調します。

要約(オリジナル)

Prompting is a mainstream paradigm for adapting large language models to specific natural language processing tasks without modifying internal parameters. Therefore, detailed supplementary knowledge needs to be integrated into external prompts, which inevitably brings extra human efforts and computational burdens for practical applications. As an effective solution to mitigate resource consumption, Efficient Prompting Methods have attracted a wide range of attention. We provide mathematical expressions at a high level to deeply discuss Automatic Prompt Engineering for different prompt components and Prompt Compression in continuous and discrete spaces. Finally, we highlight promising future directions to inspire researchers interested in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google