Guiding Large Language Models via Directional Stimulus Prompting

要約

【タイトル】方向性刺激プロンプティングを用いた大規模言語モデルのガイド付け

【要約】
– 方向性刺激プロンプティングという新しいフレームワークを提案
– チューニング可能な言語モデル(LM)を用いて、ブラックボックス型の大規模言語モデル(LLM)の案内を行う
– 従来の方法と異なり、各タスクの最適なプロンプトを手動または自動で見つけるのではなく、方向性刺激を生成する方策LMを訓練し、原稿のキーワードなどのヒント/手がかりとして使用する
– 方向性刺激は、元の入力と組み合わされ、LLMに供給されて、希望のターゲットに向かって生成を誘導する
– 方策LMは、アノテーションされたデータからの教師あり学習と、オフラインおよびオンラインの報酬からの強化学習によって訓練できる
– このフレームワークは、さまざまなLMおよびタスクに柔軟に適用可能である
– 要約および対話応答生成タスクにこのフレームワークを適用し、有効性を検証
– 小規模なトレーニングデータでLLMの性能を大幅に改善できることが実験結果から示された
– 公開可能なコードが提供される。

要約(オリジナル)

We introduce a new framework, Directional Stimulus Prompting, that uses a tuneable language model (LM) to provide guidance for the black-box frozen large language model (LLM) on downstream tasks. Unlike prior work that manually or automatically finds the optimal prompt for each task, we train a policy LM to generate discrete tokens as directional stimulus of each input, which is a hint/cue such as keywords of an article for summarization. The directional stimulus is then combined with the original input and fed into the LLM to guide its generation toward the desired target. The policy LM can be trained through 1) supervised learning from annotated data and 2) reinforcement learning from offline and online rewards to explore directional stimulus that better aligns LLMs with human preferences. This framework is flexibly applicable to various LMs and tasks. To verify its effectiveness, we apply our framework to summarization and dialogue response generation tasks. Experimental results demonstrate that it can significantly improve LLMs’ performance with a small collection of training data: a T5 (780M) trained with 2,000 samples from the CNN/Daily Mail dataset improves Codex (175B)’s performance by 9.0% in ROUGE-Avg scores; only 80 dialogues can boost the combined score by 39.7%, achieving comparable or even better performance than some fully trained models on the MultiWOZ dataset. We have made our code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI