On Meta-Prompting

要約

最新の生成言語モデルは、入力文字列を指示またはプロンプトとして解釈し、それらに基づいてタスクを実行できます。
これらのモデルのプロンプトと事前トレーニングに対する多くのアプローチには、これらのプロンプトの自動生成 (メタプロンプト、またはプロンプトを取得するためのプロンプト) が含まれます。
それらを一般化して説明するために、カテゴリー理論に基づいた理論的枠組みを提案します。
このフレームワークは確率性を考慮するのに十分な柔軟性を備えており、タスクの不可知性とさまざまなメタプロンプトアプローチの等価性に関する正式な結果を得ることができます。
私たちは実験的に、モデル研究の 2 つのアクティブな領域、創造性とアイデア化でフレームワークをテストします。
ユーザーの好みは、元のタスク定義を含む一連のハードコードされたベースライン プロンプトよりも、メタ プロンプトで生成されたプロンプトとそれに対応する出力を強く好むことがわかりました (p < 0.01)。 私たちのフレームワークを使用して、望ましい出力を生成するには、メタプロンプトが基本プロンプトよりも効果的であると主張します。

要約(オリジナル)

Modern generative language models are capable of interpreting input strings as instructions, or prompts, and carry out tasks based on them. Many approaches to prompting and pre-training these models involve the automated generation of these prompts: meta-prompting, or prompting to obtain prompts. We propose a theoretical framework based on category theory to generalize and describe them. This framework is flexible enough to account for stochasticity, and allows us to obtain formal results around task agnosticity and equivalence of various meta-prompting approaches. Experimentally, we test our framework in two active areas of model research: creativity and ideation. We find that user preference strongly favors (p < 0.01) the prompts generated under meta-prompting, as well as their corresponding outputs, over a series of hardcoded baseline prompts that include the original task definition. Using our framework, we argue that meta-prompting is more effective than basic prompting at generating desirable outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google