PREFER: Prompt Ensemble Learning via Feedback-Reflect-Refine

要約

大規模言語モデル (LLM) の力を引き出す効果的なツールとして、プロンプトはさまざまな複雑なタスクにわたって前例のない能力を最近実証しました。
パフォーマンスをさらに向上させるために、LLM の幻覚と不安定性に対処するためのプロンプト アンサンブルが大きな関心を集めています。
ただし、既存の手法は通常 2 段階のパラダイムを採用しており、事前に準備された一連のプロンプトをかなりの手作業で必要とし、異なる弱学習器に対して直接最適化を実行することはできません。
この論文では、述べられている制限に対処するために、PREFER (Pompt Ensemble learning via Feedback-Reflect-Refine) という名前のシンプルで普遍的な自動手法を提案します。
具体的には、弱い学習器はブースティング中に難しい例に焦点を当てることになっているという事実を考慮して、PREFER は既存の弱い学習器の不十分さを反映するためのフィードバック メカニズムを構築します。
これに基づいて、LLM は反復改良のために新しいプロンプトを自動的に合成する必要があります。
さらに、プロンプト効果評価の安定性を高めるために、多数決よりも優れ、ブースティングにおけるフィードバックと重み計算の両方に有益な、前向きと後ろ向きの思考を含む新しいプロンプトバギング手法を提案します。
広範な実験により、当社の PREFER が複数の種類のタスクで大幅な差をつけて最先端のパフォーマンスを達成できることが実証されました。
私たちはコードを公開しました。

要約(オリジナル)

As an effective tool for eliciting the power of Large Language Models (LLMs), prompting has recently demonstrated unprecedented abilities across a variety of complex tasks. To further improve the performance, prompt ensemble has attracted substantial interest for tackling the hallucination and instability of LLMs. However, existing methods usually adopt a two-stage paradigm, which requires a pre-prepared set of prompts with substantial manual effort, and is unable to perform directed optimization for different weak learners. In this paper, we propose a simple, universal, and automatic method named PREFER (Pompt Ensemble learning via Feedback-Reflect-Refine) to address the stated limitations. Specifically, given the fact that weak learners are supposed to focus on hard examples during boosting, PREFER builds a feedback mechanism for reflecting on the inadequacies of existing weak learners. Based on this, the LLM is required to automatically synthesize new prompts for iterative refinement. Moreover, to enhance stability of the prompt effect evaluation, we propose a novel prompt bagging method involving forward and backward thinking, which is superior to majority voting and is beneficial for both feedback and weight calculation in boosting. Extensive experiments demonstrate that our PREFER achieves state-of-the-art performance in multiple types of tasks by a significant margin. We have made our code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google