MIDAS: Multi-level Intent, Domain, And Slot Knowledge Distillation for Multi-turn NLU

要約

大規模な言語モデル（LLM）はコヒーレントで文脈的に関連するテキストを生成できますが、人間のユーザーのクエリの背後にある意図を認識するのに苦労しています。
ただし、自然言語理解（NLU）モデルは、ユーザーの入力の目的と重要な情報を解釈して、応答性のある相互作用を可能にします。
既存のNLUモデルは、一般に、個々の発話をデュアルレベルのセマンティックフレームにマッピングし、文レベルの意図と単語レベルのスロットラベルを含みます。
ただし、実際の会話は、主に複雑な対話と拡張された対話の解釈を含む多ターン会話で構成されています。
研究者は、統一されたシングルNLUモデルを使用して、マルチターンダイアログの会話のすべての側面に対処する課題に遭遇します。
このペーパーでは、マルチレベルの意図、ドメイン、およびマルチターンNLUのスロット知識蒸留を活用する新しいアプローチ、MIDASを紹介します。
これを達成するために、さまざまなレベルの会話知識、すなわち文レベルの意図検出、単語レベルのスロットフィリング、および会話レベルのドメイン分類のために、異なる教師を構築します。
これらの教師は、指定されたレベルの特定の知識を獲得するために微調整されます。
これらのマルチレベルの教師の組み合わせを促進し、マルチターンダイアログタスクで学生モデルを導くために、マルチティーチャーの損失が提案されています。
実験結果は、マルチレベルの対話知識蒸留技術の組み込みを通じてNLUモデルの進歩の可能性を示す、全体的なマルチターン会話理解を改善する際のモデルの有効性を示しています。

要約(オリジナル)

Although Large Language Models(LLMs) can generate coherent and contextually relevant text, they often struggle to recognise the intent behind the human user’s query. Natural Language Understanding (NLU) models, however, interpret the purpose and key information of user’s input to enable responsive interactions. Existing NLU models generally map individual utterances to a dual-level semantic frame, involving sentence-level intent and word-level slot labels. However, real-life conversations primarily consist of multi-turn conversations, involving the interpretation of complex and extended dialogues. Researchers encounter challenges addressing all facets of multi-turn dialogue conversations using a unified single NLU model. This paper introduces a novel approach, MIDAS, leveraging a multi-level intent, domain, and slot knowledge distillation for multi-turn NLU. To achieve this, we construct distinct teachers for varying levels of conversation knowledge, namely, sentence-level intent detection, word-level slot filling, and conversation-level domain classification. These teachers are then fine-tuned to acquire specific knowledge of their designated levels. A multi-teacher loss is proposed to facilitate the combination of these multi-level teachers, guiding a student model in multi-turn dialogue tasks. The experimental results demonstrate the efficacy of our model in improving the overall multi-turn conversation understanding, showcasing the potential for advancements in NLU models through the incorporation of multi-level dialogue knowledge distillation techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google