TAPO: Task-Referenced Adaptation for Prompt Optimization

要約

プロンプトエンジニアリングは、大規模な言語モデル（LLMS）のパフォーマンスを大幅に改善でき、自動化された迅速な最適化（APO）は、手動の迅速な設計の時間と骨の折れる性質のために大きな注意を払うことができます。
ただし、APOの既存の作業の多くはタスク固有の特性を見落としているため、ドメインの特異性がなく、タスク固有の最適化に適していないプロンプトが生じます。
このペーパーでは、3つのキーモジュールで構成されるマルチタスク対応プロンプト最適化フレームワークであるTAPOを紹介します。
まず、タスクに対応するメトリック選択モジュールが提案され、タスク固有のプロンプト生成機能を強化します。
第二に、複数の視点からプロンプトを共同で評価するためのマルチメトリック評価モジュールを提示します。
第三に、進化ベースの最適化フレームワークが自動迅速な改良のために導入され、さまざまなタスクにわたる適応性が向上します。
6つのデータセットでの広範な実験は、アプローチの有効性を示しており、コードは公開されています。

要約(オリジナル)

Prompt engineering can significantly improve the performance of large language models (LLMs), with automated prompt optimization (APO) gaining significant attention due to the time-consuming and laborious nature of manual prompt design. However, much of the existing work in APO overlooks task-specific characteristics, resulting in prompts that lack domain specificity and are not well-suited for task-specific optimization. In this paper, we introduce TAPO, a multitask-aware prompt optimization framework composed of three key modules. First, a task-aware metric selection module is proposed to enhance task-specific prompt generation capabilities. Second, we present a multi-metrics evaluation module to jointly evaluate prompts from multiple perspectives. Third, an evolution-based optimization framework is introduced for automatic prompt refinement, which improves adaptability across various tasks. Extensive experiments on six datasets demonstrate the effectiveness of our approach, and our code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google