AutoHint: Automatic Prompt Optimization with Hint Generation

要約

この文書では、大規模言語モデル (LLM) の自動プロンプト エンジニアリングと最適化のための新しいフレームワークである AutoHint について説明します。
LLM はさまざまなタスクで高品質のアノテーションを達成する際に優れた能力を実証していますが、この能力を特定のタスクに適用する鍵は、高品質のプロンプトを開発することにあります。
そこで、入出力デモンストレーションから派生した充実した命令を組み込んで元のプロンプトを最適化することで、インコンテキスト学習とゼロショット学習の両方のメリットを継承するフレームワークを提案します。
私たちはエンリッチメントをヒントと呼び、ラベル付きデータからヒントを自動的に生成するフレームワークを提案します。
より具体的には、最初のプロンプトから開始して、私たちのメソッドはまず LLM に、間違った予測から選択されたサンプルの新しいヒントを推定するように指示し、次にサンプルごとのヒントを要約して結果を最初のプロンプトに追加して、新しい充実した命令を形成します。
。
提案された手法は、ゼロショット プロンプトと少数ショート プロンプトの両方について BIG-Bench 命令誘導データセットで評価され、実験により、我々の手法が複数のタスクの精度を大幅に向上できることが実証されました。

要約(オリジナル)

This paper presents AutoHint, a novel framework for automatic prompt engineering and optimization for Large Language Models (LLM). While LLMs have demonstrated remarkable ability in achieving high-quality annotation in various tasks, the key to applying this ability to specific tasks lies in developing high-quality prompts. Thus we propose a framework to inherit the merits of both in-context learning and zero-shot learning by incorporating enriched instructions derived from input-output demonstrations to optimize original prompt. We refer to the enrichment as the hint and propose a framework to automatically generate the hint from labeled data. More concretely, starting from an initial prompt, our method first instructs a LLM to deduce new hints for selected samples from incorrect predictions, and then summarizes from per-sample hints and adds the results back to the initial prompt to form a new, enriched instruction. The proposed method is evaluated on the BIG-Bench Instruction Induction dataset for both zero-shot and few-short prompts, where experiments demonstrate our method is able to significantly boost accuracy for multiple tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google