UniPCM: Universal Pre-trained Conversation Model with Task-aware Automatic Prompt

要約

最近の研究では、マルチタスクの事前トレーニングにより、高品質の対話システムを構築するために重要なモデルの堅牢性と伝達能力が大幅に向上することが示されています。
ただし、マルチタスクの事前トレーニングに関するこれまでの研究のほとんどは、人間が定義した入力形式またはプロンプトに大きく依存しており、質と量の点で最適ではありません。
この作業では、タスクベースの自動プロンプト生成 (TAP) を使用して、高品質のプロンプトを自動的に生成することを提案します。
生成された高品質のプロンプトを使用して、事前トレーニング済み会話モデルのコーパスを 15 の対話関連タスクからの 122 データセットにスケールし、その結果、さまざまな会話タスクや
さまざまなダイアログ システム。
広範な実験により、UniPCM は入力プロンプトに対して堅牢であり、さまざまなダイアログ関連タスクを実行できることが示されています。
さらに、UniPCM は強力な転送能力を備えており、低リソースのシナリオに優れており、タスク指向のダイアログからオープンドメインの会話に至るまで、9 つの異なるデータセットで SOTA の結果を達成しています。
さらに、TAP がクラウドソーシングで収集したプロンプトと同等のプロンプトを生成できることにも驚きました。
コードは紙と一緒に公開されます。

要約(オリジナル)

Recent research has shown that multi-task pre-training greatly improves the model’s robustness and transfer ability, which is crucial for building a high-quality dialog system. However, most previous works on multi-task pre-training rely heavily on human-defined input format or prompt, which is not optimal in quality and quantity. In this work, we propose to use Task-based Automatic Prompt generation (TAP) to automatically generate high-quality prompts. Using the high-quality prompts generated, we scale the corpus of the pre-trained conversation model to 122 datasets from 15 dialog-related tasks, resulting in Universal Pre-trained Conversation Model (UniPCM), a powerful foundation model for various conversational tasks and different dialog systems. Extensive experiments have shown that UniPCM is robust to input prompts and capable of various dialog-related tasks. Moreover, UniPCM has strong transfer ability and excels at low resource scenarios, achieving SOTA results on 9 different datasets ranging from task-oriented dialog to open-domain conversation. Furthermore, we are amazed to find that TAP can generate prompts on par with those collected with crowdsourcing. The code is released with the paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google