Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

要約

言語モデル (LM) の機能を強化するために設計された効果的なスキャフォールディング手法であるメタプロンプティングを紹介します。
このアプローチは、単一の LM を、複数の独立した LM クエリの管理と統合に熟達した多面的なコンダクターに変換します。
高レベルの指示を採用することにより、メタプロンプトは LM をガイドして、複雑なタスクをより小さく、より管理しやすいサブタスクに分割します。
これらのサブタスクは、同じ LM の個別の「エキスパート」インスタンスによって処理され、それぞれが特定の調整された命令に従って動作します。
このプロセスの中心となるのは、指揮者としての役割を果たす LM 自体であり、シームレスな通信とこれらのエキスパート モデルからの出力の効果的な統合を保証します。
さらに、固有の批判的思考と堅牢な検証プロセスを採用して、最終結果を洗練し、認証します。
この協調的なプロンプトアプローチにより、単一の LM が包括的なオーケストレーターおよび多様な専門家からなるパネルとして同時に機能できるようになり、幅広いタスクにわたってそのパフォーマンスが大幅に向上します。
メタプロンプトのゼロショットでタスクに依存しない性質により、タスク固有の詳細な指示の必要性がなくなり、ユーザーの対話が大幅に簡素化されます。
さらに、私たちの研究は、Python インタープリターなどの外部ツールをメタプロンプト フレームワークにシームレスに統合し、それによってその適用性と有用性が広がることを実証しています。
GPT-4 を使用した厳密な実験を通じて、従来のスキャフォールディング手法に対するメタ プロンプトの優位性を確立しました。ゲーム オブ 24、チェックメイト イン ワン、Python プログラミング パズルを含むすべてのタスクで平均すると、メタ プロンプトは次のように拡張されます。
Python インタープリター機能は、標準プロンプトを 17.1%、エキスパート (動的) プロンプトを 17.3%、マルチペルソナ プロンプトを 15.2% 上回ります。

要約(オリジナル)

We introduce meta-prompting, an effective scaffolding technique designed to enhance the functionality of language models (LMs). This approach transforms a single LM into a multi-faceted conductor, adept at managing and integrating multiple independent LM queries. By employing high-level instructions, meta-prompting guides the LM to break down complex tasks into smaller, more manageable subtasks. These subtasks are then handled by distinct ‘expert’ instances of the same LM, each operating under specific, tailored instructions. Central to this process is the LM itself, in its role as the conductor, which ensures seamless communication and effective integration of the outputs from these expert models. It additionally employs its inherent critical thinking and robust verification processes to refine and authenticate the end result. This collaborative prompting approach empowers a single LM to simultaneously act as a comprehensive orchestrator and a panel of diverse experts, significantly enhancing its performance across a wide array of tasks. The zero-shot, task-agnostic nature of meta-prompting greatly simplifies user interaction by obviating the need for detailed, task-specific instructions. Furthermore, our research demonstrates the seamless integration of external tools, such as a Python interpreter, into the meta-prompting framework, thereby broadening its applicability and utility. Through rigorous experimentation with GPT-4, we establish the superiority of meta-prompting over conventional scaffolding methods: When averaged across all tasks, including the Game of 24, Checkmate-in-One, and Python Programming Puzzles, meta-prompting, augmented with a Python interpreter functionality, surpasses standard prompting by 17.1%, expert (dynamic) prompting by 17.3%, and multipersona prompting by 15.2%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google