Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review

要約

この包括的なレビューでは、大規模言語モデル (LLM) の機能を解放する際のプロンプト エンジニアリングの極めて重要な役割を掘り下げています。
1950 年代の始まりから高度なニューラル ネットワークと深層学習アーキテクチャの出現に至るまでの人工知能 (AI) の開発は、GPT-4o や Claude-3 などのモデルを使用した LLM、および Vision において画期的な進歩をもたらしました。
CLIP や ALIGN などのモデルを含む言語モデル (VLM)。
プロンプトエンジニアリングは入力を構造化するプロセスであり、これらのモデルの有用性と精度を最大化するための重要なテクニックとして浮上しています。
このペーパーでは、モデルのパフォーマンスを大幅に向上させる、自己一貫性、思考連鎖、生成された知識などのテクニックを含む、プロンプト エンジニアリングの基礎的な方法論と高度な方法論の両方を検討します。
さらに、コンテキスト最適化 (CoOp)、条件付きコンテキスト最適化 (CoCoOp)、マルチモーダル プロンプト学習 (MaPLe) などの革新的なアプローチを通じて、VLM のプロンプト方式を検証します。
この議論にとって重要なのは、AI セキュリティの側面、特にプロンプ​​ト エンジニアリングの脆弱性を悪用する敵対的攻撃です。
これらのリスクを軽減し、モデルの堅牢性を高めるための戦略が徹底的にレビューされます。
プロンプト手法の評価にも、主観的指標と客観的指標の両方を通じて対処され、その有効性の確実な分析が保証されます。
このレビューは、AI 機能の進歩におけるプロンプト エンジニアリングの重要な役割も反映しており、将来の研究と応用のための構造化されたフレームワークを提供します。

要約(オリジナル)

This comprehensive review delves into the pivotal role of prompt engineering in unleashing the capabilities of Large Language Models (LLMs). The development of Artificial Intelligence (AI), from its inception in the 1950s to the emergence of advanced neural networks and deep learning architectures, has made a breakthrough in LLMs, with models such as GPT-4o and Claude-3, and in Vision-Language Models (VLMs), with models such as CLIP and ALIGN. Prompt engineering is the process of structuring inputs, which has emerged as a crucial technique to maximize the utility and accuracy of these models. This paper explores both foundational and advanced methodologies of prompt engineering, including techniques such as self-consistency, chain-of-thought, and generated knowledge, which significantly enhance model performance. Additionally, it examines the prompt method of VLMs through innovative approaches such as Context Optimization (CoOp), Conditional Context Optimization (CoCoOp), and Multimodal Prompt Learning (MaPLe). Critical to this discussion is the aspect of AI security, particularly adversarial attacks that exploit vulnerabilities in prompt engineering. Strategies to mitigate these risks and enhance model robustness are thoroughly reviewed. The evaluation of prompt methods is also addressed, through both subjective and objective metrics, ensuring a robust analysis of their efficacy. This review also reflects the essential role of prompt engineering in advancing AI capabilities, providing a structured framework for future research and application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google