Joint Multiple Intent Detection and Slot Filling with Supervised Contrastive Learning and Self-Distillation

要約

複数の意図の検出とスロットの充填は、音声言語の理解における 2 つの基本的かつ重要なタスクです。
2 つのタスクが密接に関連しているという事実により、各タスクを個別に実行する個別のモデルよりも、意図の検出とスロットの抽出を同時に行うことができる共同モデルが好まれます。
ジョイント モデルの精度は、一方のタスクの結果がもう一方のタスクの結果を修正できるように、2 つのタスク間で情報を転送するモデルの能力に大きく依存します。
さらに、ジョイント モデルには複数の出力があるため、モデルを効果的にトレーニングする方法も課題です。
本稿では、これらの課題に対処することによる、複数のインテントの検出とスロット充填の方法を紹介します。
まず、スロットを認識するためのインテント情報とインテントを検出するためのスロット特徴を明示的に使用する双方向結合モデルを提案します。
次に、教師あり対比学習と自己蒸留を使用して、提案された結合モデルをトレーニングするための新しい方法を紹介します。
2 つのベンチマーク データセット MixATIS と MixSNIPS での実験結果は、私たちの手法が両方のタスクにおいて最先端のモデルよりも優れていることを示しています。
この結果は、双方向設計とトレーニング方法の両方が精度向上に貢献していることも示しています。
私たちのソースコードは https://github.com/anhtunguyen98/BiSLU で入手できます。

要約(オリジナル)

Multiple intent detection and slot filling are two fundamental and crucial tasks in spoken language understanding. Motivated by the fact that the two tasks are closely related, joint models that can detect intents and extract slots simultaneously are preferred to individual models that perform each task independently. The accuracy of a joint model depends heavily on the ability of the model to transfer information between the two tasks so that the result of one task can correct the result of the other. In addition, since a joint model has multiple outputs, how to train the model effectively is also challenging. In this paper, we present a method for multiple intent detection and slot filling by addressing these challenges. First, we propose a bidirectional joint model that explicitly employs intent information to recognize slots and slot features to detect intents. Second, we introduce a novel method for training the proposed joint model using supervised contrastive learning and self-distillation. Experimental results on two benchmark datasets MixATIS and MixSNIPS show that our method outperforms state-of-the-art models in both tasks. The results also demonstrate the contributions of both bidirectional design and the training method to the accuracy improvement. Our source code is available at https://github.com/anhtunguyen98/BiSLU

arxiv情報

提供元, 利用サービス

arxiv.jp, Google