Automated Meta Prompt Engineering for Alignment with the Theory of Mind

要約

人間の精神的期待と大規模な言語モデル（LLM）神経処理の間の神経状態の類似性を最適化しながら、複雑なタスクの流fluent的なテキストを共同で生成するメタ採用方法を導入します。
エージェントの強化学習の手法が適用されます。この手法では、裁判官（LLMAAJ）としてのLLMが、コンテキスト内学習を通じて、意図された意図しない生成されたテキスト特性を解釈することによりコンテンツを作成する方法を教えます。
コンテンツの生産に関する人間の精神的信念を測定するために、ユーザーは、米国オープン2024テニスグランドスラムに掲載される前に、長い形式のAIに生成されたテキスト記事を変更します。
現在、LLMAAJは、LLMからテキストの作成内に人間の編集を予測して含めることにより、心の理論（TOM）アライメントの問題を解決できます。
実験を通して、生産システムの結果を解釈することにより、人間のコンテンツレビュー担当者の期待は、平均反復数が4.38で、AI 53.8％の時間の100％の整合性を持っていました。
Hilbertベクター空間上の事実性、目新しさ、繰り返し、および関連性などのコンテンツ特性の幾何学的解釈は、空間体積（すべての特性の重要性）と垂直アライメント（個々の特性関連性）を組み合わせてLLMAAJを有効にしました。
これにより、テニスアクションのカバレッジを延長することにより、コンテンツの品質が向上しました。
米国オープン2024で展開された私たちの仕事は、スポーツやエンターテイメント内の他のライブイベントで使用されています。

要約(オリジナル)

We introduce a method of meta-prompting that jointly produces fluent text for complex tasks while optimizing the similarity of neural states between a human’s mental expectation and a Large Language Model’s (LLM) neural processing. A technique of agentic reinforcement learning is applied, in which an LLM as a Judge (LLMaaJ) teaches another LLM, through in-context learning, how to produce content by interpreting the intended and unintended generated text traits. To measure human mental beliefs around content production, users modify long form AI-generated text articles before publication at the US Open 2024 tennis Grand Slam. Now, an LLMaaJ can solve the Theory of Mind (ToM) alignment problem by anticipating and including human edits within the creation of text from an LLM. Throughout experimentation and by interpreting the results of a live production system, the expectations of human content reviewers had 100% of alignment with AI 53.8% of the time with an average iteration count of 4.38. The geometric interpretation of content traits such as factualness, novelty, repetitiveness, and relevancy over a Hilbert vector space combines spatial volume (all trait importance) with vertices alignment (individual trait relevance) enabled the LLMaaJ to optimize on Human ToM. This resulted in an increase in content quality by extending the coverage of tennis action. Our work that was deployed at the US Open 2024 has been used across other live events within sports and entertainment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google