On Meta-Prompting

要約

特定の統計モデルは、入力文字列を指示またはプロンプトとして解釈し、それらに基づいてタスクを実行できます。
これらのモデルのプロンプトと事前トレーニングに対する多くのアプローチには、これらのプロンプトの自動生成が含まれます。
これらのアプローチをメタプロンプト、またはプロンプトの取得を促すと呼びます。
それらを一般化して説明するために、カテゴリー理論に基づいた理論的枠組みを提案します。
このフレームワークは、LLM の確率性を考慮するのに十分な柔軟性を持っています。
これにより、タスクの不可知性とさまざまなメタプロンプトアプローチの同等性に関する正式な結果を得ることができます。
私たちは、モデル研究の 2 つのアクティブな領域、創造性とアイデア化でメタプロンプトを実験します。
ユーザーの好みでは、元のタスク プロンプトを含む一連のハードコーディングされたベースライン プロンプトよりも、メタ プロンプトで生成されたプロンプトとそれに対応する出力が優先されることがわかります (p < 0.01)。 私たちのフレームワークを使用して、望ましい出力を生成するには、メタプロンプトが基本プロンプトよりも効果的であると主張します。

要約(オリジナル)

Certain statistical models are capable of interpreting input strings as instructions, or prompts, and carry out tasks based on them. Many approaches to prompting and pre-training these models involve the automated generation of these prompts. We call these approaches meta-prompting, or prompting to obtain prompts. We propose a theoretical framework based on category theory to generalize and describe them. This framework is flexible enough to account for LLM stochasticity; and allows us to obtain formal results around task agnosticity and equivalence of various meta-prompting approaches. We experiment with meta-prompting in two active areas of model research: creativity and ideation. We find that user preference favors (p < 0.01) the prompts generated under meta-prompting, as well as their corresponding outputs, over a series of hardcoded baseline prompts that include the original task prompt. Using our framework, we argue that meta-prompting is more effective than basic prompting at generating desirable outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google