MultiPrompter: Cooperative Prompt Optimization with Multi-Agent Reinforcement Learning

要約

最近、強化学習 (RL) に基づく自動プロンプト最適化への関心が高まっています。
このアプローチには、解釈可能なプロンプトの生成やブラックボックス基盤モデルとの互換性など、重要な利点があります。
ただし、プロンプト空間のサイズがかなり大きいため、RL ベースの手法には課題が生じ、最適ではないポリシーの収束につながることがよくあります。
このペーパーでは、プロンプトの最適化を、交互にプロンプ​​トを構成するプロンプター間の協力ゲームとして捉える新しいフレームワークである MultiPrompter を紹介します。
協調的なプロンプトの最適化により、問題のサイズが効果的に削減され、プロンプターが最適なプロンプトを学習できるようになります。
テキストから画像へのタスクでメソッドをテストし、ベースラインよりも高品質の画像を生成する機能を示します。

要約(オリジナル)

Recently, there has been an increasing interest in automated prompt optimization based on reinforcement learning (RL). This approach offers important advantages, such as generating interpretable prompts and being compatible with black-box foundation models. However, the substantial prompt space size poses challenges for RL-based methods, often leading to suboptimal policy convergence. This paper introduces MultiPrompter, a new framework that views prompt optimization as a cooperative game between prompters which take turns composing a prompt together. Our cooperative prompt optimization effectively reduces the problem size and helps prompters learn optimal prompts. We test our method on the text-to-image task and show its ability to generate higher-quality images than baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google