MOPO: Multi-Objective Prompt Optimization for Affective Text Generation

要約

感情がどのように表現されるかは、文脈と領域によって異なります。
たとえば、X (旧 Twitter) では、著者は単純にハッシュタグ #anger を使用する可能性がありますが、ニュースの見出しでは通常、感情がより丁寧で間接的な方法で書かれます。
条件付きテキスト生成モデルでドメインに適合する感情的な含意のあるテキストを作成できるようにするには、ユーザーが感情を表現する適切な方法を選択できるパラメーターにアクセスできる必要があります。
これを達成するために、多目的プロンプト最適化手法である MOPO を導入します。
MOPO は、複数の目的 (ここでは、さまざまなドメインに対してトレーニングされた感情分類器によって割り当てられた出力確率に対応します) に従ってプロンプトを最適化します。
単一の目的の最適化とは対照的に、MOPO は複数の目的の異なる重み付けをそれぞれ持つ一連のプロンプトを出力します。
ユーザーは、コンテキストに応じて最も適切なプロンプトを選択できます。
私たちは、さまざまなドメイン固有の感情分類子によって決定される 3 つの目標を使用して MOPO を評価します。
MOPO は、単一の対物レンズの最適化と比較して、単一の対物レンズの損失 (1 ～ 2 pp) を最小限に抑えながら、すべての対物レンズにわたってパフォーマンスを最大 15 pp 向上させます。
これらのわずかなパフォーマンス損失は、複数の目的にわたるより広範な一般化によって相殺されますが、これは単一の目的の最適化では不可能です。
さらに、MOPO は複数の目的を同時に最適化し、目的ごとに個別に最適化する手順を排除することで、計算要件を削減します。

要約(オリジナル)

How emotions are expressed depends on the context and domain. On X (formerly Twitter), for instance, an author might simply use the hashtag #anger, while in a news headline, emotions are typically written in a more polite, indirect manner. To enable conditional text generation models to create emotionally connotated texts that fit a domain, users need to have access to a parameter that allows them to choose the appropriate way to express an emotion. To achieve this, we introduce MOPO, a Multi-Objective Prompt Optimization methodology. MOPO optimizes prompts according to multiple objectives (which correspond here to the output probabilities assigned by emotion classifiers trained for different domains). In contrast to single objective optimization, MOPO outputs a set of prompts, each with a different weighting of the multiple objectives. Users can then choose the most appropriate prompt for their context. We evaluate MOPO using three objectives, determined by various domain-specific emotion classifiers. MOPO improves performance by up to 15 pp across all objectives with a minimal loss (1-2 pp) for any single objective compared to single-objective optimization. These minor performance losses are offset by a broader generalization across multiple objectives – which is not possible with single-objective optimization. Additionally, MOPO reduces computational requirements by simultaneously optimizing for multiple objectives, eliminating separate optimization procedures for each objective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google