Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning

要約

音声言語理解 (SLU) は、タスク指向対話システムの中核タスクであり、意味フレームの構築を通じてユーザーの現在の目標を理解することを目的としています。
SLU は通常、インテント検出とスロット充填を含む 2 つのサブタスクで構成されます。
2 つのサブタスクを共同モデリングして高いパフォーマンスを実現する SLU フレームワークもいくつかありますが、そのほとんどは依然としてインテントとスロット間の固有の関係を見落としており、2 つのサブタスク間の相互誘導を実現できません。
この問題を解決するために、我々は、発話レベル、スロットレベル、単語レベルを含む3つのレベルで対照学習を適用し、意図とスロットが相互にガイドできるようにするマルチレベルマルチグレインSLUフレームワークMMCLを提案します。
発話レベルについては、私たちのフレームワークは粗い粒度の対比学習と細かい粒度の対比学習を同時に実装します。
さらに、モデルの堅牢性を向上させるために自己蒸留法も適用します。
実験結果とさらなる分析は、私たちが提案したモデルが 2 つの公開マルチインテント SLU データセットで新しい最先端の結果を達成し、以前の最良のモデルと比較して、MixATIS データセットで全体の精度が 2.6 向上したことを示しています。

要約(オリジナル)

Spoken language understanding (SLU) is a core task in task-oriented dialogue systems, which aims at understanding the user’s current goal through constructing semantic frames. SLU usually consists of two subtasks, including intent detection and slot filling. Although there are some SLU frameworks joint modeling the two subtasks and achieving high performance, most of them still overlook the inherent relationships between intents and slots and fail to achieve mutual guidance between the two subtasks. To solve the problem, we propose a multi-level multi-grained SLU framework MMCL to apply contrastive learning at three levels, including utterance level, slot level, and word level to enable intent and slot to mutually guide each other. For the utterance level, our framework implements coarse granularity contrastive learning and fine granularity contrastive learning simultaneously. Besides, we also apply the self-distillation method to improve the robustness of the model. Experimental results and further analysis demonstrate that our proposed model achieves new state-of-the-art results on two public multi-intent SLU datasets, obtaining a 2.6 overall accuracy improvement on the MixATIS dataset compared to previous best models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google