A Brief History of Prompt: Leveraging Language Models. (Through Advanced Prompting)

要約

この論文では、自然言語処理 (NLP) の分野におけるプロンプト エンジニアリングと生成の進化の包括的な調査について説明します。
初期の言語モデルと情報検索システムから始めて、長年にわたってプロンプト エンジニアリングを形成してきた主要な開発を追跡します。
2015 年のアテンション メカニズムの導入は言語理解に革命をもたらし、制御性とコンテキスト認識の進歩につながりました。
その後の強化学習技術の進歩により、プロンプト エンジニアリングがさらに強化され、露出バイアスや生成されたテキストのバイアスなどの問題に対処しました。
微調整戦略、制御コード、テンプレートベースの生成に焦点を当てて、2018 年と 2019 年の重要な貢献を調査します。
この論文では、公平性、人間と AI のコラボレーション、低リソースへの適応の重要性の高まりについても説明しています。
2020 年と 2021 年には、コンテキスト プロンプトと転移学習が注目を集めましたが、2022 年と 2023 年には、教師なし事前トレーニングや新しい報酬形成などの高度な技術が登場しました。
この論文では、さまざまな開発がプロンプト エンジニアリングに及ぼす影響を例証する特定の研究結果を参照しています。
AI システムの責任ある包括的な未来のためには、倫理的配慮が最重要であるため、迅速なエンジニアリングの旅は続きます。

要約(オリジナル)

This paper presents a comprehensive exploration of the evolution of prompt engineering and generation in the field of natural language processing (NLP). Starting from the early language models and information retrieval systems, we trace the key developments that have shaped prompt engineering over the years. The introduction of attention mechanisms in 2015 revolutionized language understanding, leading to advancements in controllability and context-awareness. Subsequent breakthroughs in reinforcement learning techniques further enhanced prompt engineering, addressing issues like exposure bias and biases in generated text. We examine the significant contributions in 2018 and 2019, focusing on fine-tuning strategies, control codes, and template-based generation. The paper also discusses the growing importance of fairness, human-AI collaboration, and low-resource adaptation. In 2020 and 2021, contextual prompting and transfer learning gained prominence, while 2022 and 2023 witnessed the emergence of advanced techniques like unsupervised pre-training and novel reward shaping. Throughout the paper, we reference specific research studies that exemplify the impact of various developments on prompt engineering. The journey of prompt engineering continues, with ethical considerations being paramount for the responsible and inclusive future of AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google