Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System

要約

【タイトル】タスクに最適化されたアダプターを用いたエンドツーエンドタスク指向型対話システム

【要約】
– タスク指向型対話システムは、対話状態を追跡し、定義された目標を達成するために適切な返答を生成することで、特定のタスクを実行するために設計されている。
– 最近のエンドツーエンド対話モデルは、大規模なデータセットに基づいて事前学習されたもので、会話システムのタスク（NLU、DST、NLG）を訓練するために同じパラメータを共有しているため、各タスクのデバッグが難しい。
– また、タスク指向のチャットボットを作成するために大規模なパラメータを微調整するために多くの努力が必要であり、非専門家が扱うのが難しい。
– そこで、PLMに比べて比較的軽量で高速なモデルを訓練することを意図している。
– 本論文では、タスクに最適化されたアダプターを用いたエンドツーエンドタスク指向型システムを提案する。
– 弊社方式はモデルに依存するアプローチではなく、独立して各タスクを学習するアダプターを用いたものである。
– 強化学習によりDSTモジュールとNLGモジュールのパフォーマンスを向上させ、適切な応答の生成を可能にする方法も提案する。
– 弊社方式はプロンプトチューニングが必要なく、プロンプトなしの入力データのみだけで使用できる。
– 実験結果は、既存のエンドツーエンドモデルと比較して、MultiWOZベンチマークで競争力のあるパフォーマンスを示している。
– 特に、2.2データセットのDSTタスクにおいて、最高のベンチマークを達成している。

要約(オリジナル)

Task-Oriented Dialogue (TOD) systems are designed to carry out specific tasks by tracking dialogue states and generating appropriate responses to help users achieve defined goals. Recently, end-to-end dialogue models pre-trained based on large datasets have shown promising performance in the conversational system. However, they share the same parameters to train tasks of the dialogue system (NLU, DST, NLG), so debugging each task is challenging. Also, they require a lot of effort to fine-tune large parameters to create a task-oriented chatbot, making it difficult for non-experts to handle. Therefore, we intend to train relatively lightweight and fast models compared to PLM. In this paper, we propose an End-to-end TOD system with Task-Optimized Adapters which learn independently per task, adding only small number of parameters after fixed layers of pre-trained network. We also enhance the performance of the DST and NLG modules through reinforcement learning, overcoming the learning curve that has lacked at the adapter learning and enabling the natural and consistent response generation that is appropriate for the goal. Our method is a model-agnostic approach and does not require prompt-tuning as only input data without a prompt. As results of the experiment, our method shows competitive performance on the MultiWOZ benchmark compared to the existing end-to-end models. In particular, we attain state-of-the-art performance on the DST task of 2.2 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI