Attribute Controlled Dialogue Prompting

要約

プロンプトチューニングは、大規模な事前トレーニング済み言語モデルを下流のタスクに適応させるためのパラメーター効率の高い方法としてますます人気が高まっています。
ただし、離散プロンプトと連続プロンプトはどちらも、タスク内のすべてのデータ サンプルに対して固定プロンプトを想定しており、オープンドメインのダイアログ生成などの一部のタスクでは入力が大きく異なるという事実を無視しています。
この論文では、対話生成のための新しいインスタンス固有のプロンプト調整アルゴリズムを紹介します。
具体的には、会話履歴ではなく、インスタンスレベルの制御コードに基づいてプロンプトを生成し、制御された対話生成への影響​​を調査します。
自動化されたメトリクスと人間による評価の両方で評価された、一般的なオープンドメインの対話データセットでの実験では、私たちの方法がベースラインを促すよりも優れており、総パラメータのわずか 5% ～ 6% を使用した微調整に匹敵することが実証されました。

要約(オリジナル)

Prompt-tuning has become an increasingly popular parameter-efficient method for adapting large pretrained language models to downstream tasks. However, both discrete prompting and continuous prompting assume fixed prompts for all data samples within a task, neglecting the fact that inputs vary greatly in some tasks such as open-domain dialogue generation. In this paper, we present a novel, instance-specific prompt-tuning algorithm for dialogue generation. Specifically, we generate prompts based on instance-level control code, rather than the conversation history, to explore their impact on controlled dialogue generation. Experiments on popular open-domain dialogue datasets, evaluated on both automated metrics and human evaluation, demonstrate that our method is superior to prompting baselines and comparable to fine-tuning with only 5%-6% of total parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google