PAS: Data-Efficient Plug-and-Play Prompt Augmentation System

要約

近年、ラージ言語モデル (LLM) の台頭により、プラグ アンド プレイ AI システムの需要が高まっています。
さまざまなAI技術の中でも、特に重要視されているのがプロンプトエンジニアリングです。
ただし、ユーザーは、急な学習曲線と多大な時間の投資により、プロンプトを作成する際に課題に直面することが多く、既存の自動プロンプト エンジニアリング (APE) モデルは使用が難しい場合があります。
この問題に対処するために、LLM ベースのプラグアンドプレイ APE システムである PAS を提案します。
PAS は、高品質で自動生成された即時補完データセットでトレーニングされた LLM を利用し、優れたパフォーマンスを実現します。
包括的なベンチマークでは、PAS は以前の APE モデルと比較して、平均 6.09 ポイント向上した最先端 (SoTA) の結果を達成しました。
さらに、PAS は効率が高く、わずか 9000 データ ポイントで SoTA パフォーマンスを達成します。
さらに、PAS は、追加の人的労力を必要とせずに、迅速な拡張データを自律的に生成できます。
また、その柔軟性により、既存のすべての LLM と互換性があり、幅広いタスクに適用できます。
PAS は人間による評価に優れており、ユーザーにとってのプラグインとしての適性が強調されています。
この高いパフォーマンス、効率、柔軟性の組み合わせにより、PAS は、改善されたプロンプト エンジニアリングを通じて LLM の使いやすさと有効性を高めるための価値のあるシステムになります。

要約(オリジナル)

In recent years, the rise of Large Language Models (LLMs) has spurred a growing demand for plug-and-play AI systems. Among the various AI techniques, prompt engineering stands out as particularly significant. However, users often face challenges in writing prompts due to the steep learning curve and significant time investment, and existing automatic prompt engineering (APE) models can be difficult to use. To address this issue, we propose PAS, an LLM-based plug-and-play APE system. PAS utilizes LLMs trained on high-quality, automatically generated prompt complementary datasets, resulting in exceptional performance. In comprehensive benchmarks, PAS achieves state-of-the-art (SoTA) results compared to previous APE models, with an average improvement of 6.09 points. Moreover, PAS is highly efficient, achieving SoTA performance with only 9000 data points. Additionally, PAS can autonomously generate prompt augmentation data without requiring additional human labor. Its flexibility also allows it to be compatible with all existing LLMs and applicable to a wide range of tasks. PAS excels in human evaluations, underscoring its suitability as a plug-in for users. This combination of high performance, efficiency, and flexibility makes PAS a valuable system for enhancing the usability and effectiveness of LLMs through improved prompt engineering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google