Meta Prompting for AGI Systems

要約

この論文では、問題解決とデータ解釈における大規模言語モデル (LLM)、マルチモーダル基盤モデル、AI システムの利用を再構築する革新的な技術であるメタ プロンプティングの包括的な研究を紹介します。
タイプ理論とカテゴリー理論に基づいたメタ プロンプティングは、従来のコンテンツ中心の方法よりも情報の構造と構文を重視します。
この論文では、メタ プロンプティング (MP) の正式な定義を検討し、それをフューショット プロンプティングとは区別し、さまざまな AI アプリケーションにおけるその有効性を強調します。
主な焦点は、メタ プロンプティングを複雑な推論タスクに拡張することであり、複雑な問題をより単純なサブ問題に効果的に分解し、トークンの効率を高め、特に少数ショットのサンプル手法とのより公平な問題解決の比較を可能にする方法を示します。
さらに、この論文では、プロンプトタスク用のメタプロンプティングを導入し、LLM がメタプログラミングのような反復的な方法で新しいプロンプトを自己生成できるようにします。
この革新的なアプローチは、AI の自律的かつ適応的な能力における大きな飛躍を示します。
この論文はまた、メタ プロンプティングをマルチモーダル基盤モデル設定に統合する先駆者であり、構造化されたメタ プロンプティング フレームワーク内に画像、音声、ビデオなどのさまざまなデータ タイプを組み込む際の課題と機会に取り組みます。
(コードは https://github.com/meta-prompting/meta-prompting で入手できます)

要約(オリジナル)

This paper presents a comprehensive study of Meta Prompting, an innovative technique reshaping the utilization of large language models (LLMs), multi-modal foundation models, and AI systems in problem-solving and data interpretation. Grounded in type theory and category theory, Meta Prompting emphasizes the structure and syntax of information over traditional content-centric methods. The paper explores the formal definitions of Meta Prompting (MP), sets it apart from Few-Shot Prompting, and underlines its effectiveness in various AI applications. A key focus is on extending Meta Prompting to complex reasoning tasks, showing how it effectively deconstructs intricate problems into simpler sub-problems, enhancing token efficiency and enabling more equitable problem-solving comparisons, especially against few-shot example methods. Additionally, the paper introduces Meta Prompting for Prompting Tasks, allowing LLMs to self-generate new prompts in an iterative, metaprogramming-like manner. This innovative approach marks a significant leap in AI’s autonomous and adaptive capabilities. The paper also pioneers the integration of Meta Prompting into multi-modal foundation model settings, tackling the challenges and opportunities of incorporating varied data types such as images, audio, and video within the structured Meta Prompting framework. (The code is available at https://github.com/meta-prompting/meta-prompting)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google