A Theoretical Framework for Prompt Engineering: Approximating Smooth Functions with Transformer Prompts

要約

迅速なエンジニアリングは、望ましい応答に向けて大規模な言語モデル（LLM）を導くための強力な手法として浮上し、多様なタスク全体でパフォーマンスを大幅に向上させています。
静的予測因子としての役割を超えて、LLMはインテリジェントエージェントとしてますます機能し、推論、意思決定、複雑な環境への動的に適応することができます。
ただし、迅速なエンジニアリングの理論的基盤は、ほとんど未踏のままです。
このホワイトペーパーでは、慎重に設計されたプロンプトが提供された場合、推論中に「仮想」ニューラルネットワークをエミュレートすることにより、構成可能な計算システムとして機能できることを示す正式なフレームワークを紹介します。
具体的には、入力プロンプトは、対応するネットワーク構成に効果的に変換され、LLMが内部計算を動的に調整できるようにします。
この構造に基づいて、私たちは$ \ beta $ -timesの微分機能の近似理論を確立し、適切に構造化されたプロンプトに導かれた場合、変圧器がそのような機能を任意の精度で近似できることを証明します。
さらに、私たちのフレームワークは、より長い構造化されたプロンプトの使用、無関係な情報のフィルタリング、プロンプトトークンの多様性の向上、マルチエージェントの相互作用の活用など、いくつかの経験的に成功したプロンプトエンジニアリング手法の理論的正当化を提供します。
LLMを静的モデルではなく適応可能なエージェントとしてフレーミングすることにより、私たちの調査結果は、自律的な推論と問題解決の可能性を強調し、迅速なエンジニアリングとAIエージェントの設計におけるより堅牢で理論的に根拠のある進歩への道を開きます。

要約(オリジナル)

Prompt engineering has emerged as a powerful technique for guiding large language models (LLMs) toward desired responses, significantly enhancing their performance across diverse tasks. Beyond their role as static predictors, LLMs increasingly function as intelligent agents, capable of reasoning, decision-making, and adapting dynamically to complex environments. However, the theoretical underpinnings of prompt engineering remain largely unexplored. In this paper, we introduce a formal framework demonstrating that transformer models, when provided with carefully designed prompts, can act as a configurable computational system by emulating a “virtual” neural network during inference. Specifically, input prompts effectively translate into the corresponding network configuration, enabling LLMs to adjust their internal computations dynamically. Building on this construction, we establish an approximation theory for $\beta$-times differentiable functions, proving that transformers can approximate such functions with arbitrary precision when guided by appropriately structured prompts. Moreover, our framework provides theoretical justification for several empirically successful prompt engineering techniques, including the use of longer, structured prompts, filtering irrelevant information, enhancing prompt token diversity, and leveraging multi-agent interactions. By framing LLMs as adaptable agents rather than static models, our findings underscore their potential for autonomous reasoning and problem-solving, paving the way for more robust and theoretically grounded advancements in prompt engineering and AI agent design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google