Guiding Large Language Models via Directional Stimulus Prompting

要約

ブラックボックス大規模言語モデル (LLM) を目的の出力に導くための、Directional Stimulus Prompting と呼ばれる新しいプロンプト フレームワークを導入します。
このフレームワークでは、方向刺激と呼ばれる新しいコンポーネントがプロンプトに導入され、LLM に対するよりきめ細かいガイダンスと制御が提供されます。
方向性刺激は、各入力クエリに対するヒントまたは手がかりとして機能し、LLM を目的の出力 (目的の概要に要約のために含める必要があるキーワードなど) に導きます。
小規模な調整可能なモデル (T5 など) を利用して、クエリごとにそのような方向性の刺激を生成し、小規模なポリシー モデルを最適化することでブラックボックス LLM を最適化できるようにします。
このポリシー モデルは、1) ラベル付きデータを使用した教師あり微調整、2) オフラインまたはオンラインの報酬からの強化学習を通じてトレーニングして、LLM を望ましい動作とより適切に調整する方向性の刺激を探索できます。
要約および対話応答生成タスクに関するフレームワークを評価します。
実験結果は、私たちのフレームワークが、トレーニングデータの小さなコレクションを使用した標準的なプロンプトよりもChatGPTのパフォーマンスを一貫して向上させ、強化学習によりパフォーマンスがさらに向上することを示しています。
特に、MultWOZ データセットでは、私たちのフレームワークにより、ChatGPT はわずか 80 の対話で合計スコアで 41.4% という驚くべき改善を達成でき、完全にトレーニングされた一部の最先端モデルのパフォーマンスと同等、またはそれを上回っています。
私たちはコードを公開しました。

要約(オリジナル)

We introduce a novel prompting framework called Directional Stimulus Prompting for guiding black-box large language models (LLMs) toward desired outputs. The framework introduces a new component called directional stimulus into the prompt, providing more fine-grained guidance and control over LLMs. The directional stimulus serves as hints or cues for each input query to guide LLMs toward the desired output, such as keywords that the desired summary should include for summarization. We utilize a small tunable model (e.g., T5) to generate such directional stimulus for each query, allowing us to optimize black-box LLMs by optimizing a small policy model. This policy model can be trained through 1) supervised fine-tuning using labeled data and 2) reinforcement learning from offline or online rewards to explore directional stimulus that better aligns LLMs with desired behaviors. We evaluate our framework on summarization and dialogue response generation tasks. Experimental results show that our framework consistently improves ChatGPT’s performance over standard prompting with a small collection of training data, and reinforcement learning further improves the performance. Notably, on the MultWOZ dataset, our framework enables ChatGPT to achieve a remarkable 41.4% improvement in its combined score with only 80 dialogues, matching or even surpassing the performance of some fully trained state-of-the-art models. We have made our code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google