MIDAS: Multi-level Intent, Domain, And Slot Knowledge Distillation for Multi-turn NLU

要約

大規模言語モデル (LLM) は、一貫した文脈に関連したテキストを生成できますが、人間のユーザーのクエリの背後にある意図を認識するのに苦労することがよくあります。
ただし、自然言語理解 (NLU) モデルは、ユーザー入力の目的と重要な情報を解釈して、応答性の高い対話を可能にします。
既存の NLU モデルは一般に、個々の発話を文レベルの意図と単語レベルのスロット ラベルを含む二重レベルの意味フレームにマッピングします。
ただし、実際の会話は主に、複雑で拡張された対話の解釈を伴う複数ターンの会話で構成されます。
研究者は、統合された単一の NLU モデルを使用してマルチターン対話会話のあらゆる側面に対処するという課題に直面しています。
このペーパーでは、マルチターン NLU のマルチレベルのインテント、ドメイン、およびスロットの知識の蒸留を活用する、新しいアプローチである MIDAS を紹介します。
これを達成するために、さまざまなレベルの会話知識、つまり文レベルの意図検出、単語レベルのスロット充填、会話レベルのドメイン分類に応じた個別の教師を構築します。
これらの教師は、指定されたレベルの特定の知識を習得できるように微調整されます。
マルチ教師損失は、これらのマルチレベル教師の組み合わせを容易にし、マルチターン対話タスクで生徒モデルをガイドするために提案されています。
実験結果は、全体的なマルチターン会話の理解を改善する上でのモデルの有効性を実証し、マルチレベルの対話知識蒸留技術の組み込みによる NLU モデルの進歩の可能性を示しています。

要約(オリジナル)

Although Large Language Models(LLMs) can generate coherent and contextually relevant text, they often struggle to recognise the intent behind the human user’s query. Natural Language Understanding (NLU) models, however, interpret the purpose and key information of user’s input to enable responsive interactions. Existing NLU models generally map individual utterances to a dual-level semantic frame, involving sentence-level intent and word-level slot labels. However, real-life conversations primarily consist of multi-turn conversations, involving the interpretation of complex and extended dialogues. Researchers encounter challenges addressing all facets of multi-turn dialogue conversations using a unified single NLU model. This paper introduces a novel approach, MIDAS, leveraging a multi-level intent, domain, and slot knowledge distillation for multi-turn NLU. To achieve this, we construct distinct teachers for varying levels of conversation knowledge, namely, sentence-level intent detection, word-level slot filling, and conversation-level domain classification. These teachers are then fine-tuned to acquire specific knowledge of their designated levels. A multi-teacher loss is proposed to facilitate the combination of these multi-level teachers, guiding a student model in multi-turn dialogue tasks. The experimental results demonstrate the efficacy of our model in improving the overall multi-turn conversation understanding, showcasing the potential for advancements in NLU models through the incorporation of multi-level dialogue knowledge distillation techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google