I$^2$KD-SLU: An Intra-Inter Knowledge Distillation Framework for Zero-Shot Cross-Lingual Spoken Language Understanding

要約

音声言語理解 (SLU) には通常、意図検出とスロット充填という 2 つのサブタスクが含まれます。
現在、高リソース言語では大きな成功を収めていますが、ラベル付きトレーニング データが不足しているため、低リソース言語では依然として課題が残っています。
したがって、ゼロショットクロスリンガル SLU への関心が高まっています。
既存のゼロショットクロスリンガル SLU モデルは成功しているにもかかわらず、そのほとんどはインテントとスロットの間の相互誘導の実現を無視しています。
この問題に対処するために、相互指導をモデル化するためのゼロショット異言語音声理解 (I$^2$KD-SLU) のための内部知識蒸留フレームワークを提案します。
具体的には、異なる言語の同じ発話の意図予測またはスロット予測の間に知識内蒸留を適用するだけでなく、同じ発話の意図予測とスロット予測の間に知識間蒸留も適用します。
私たちの実験結果は、私たちが提案したフレームワークが強力なベースラインと比較してパフォーマンスを大幅に向上させ、MultiATIS++ データセット上で新しい最先端のパフォーマンスを達成し、全体的な精度において以前の最高のモデルと比べて大幅な向上が得られたことを示しています。

要約(オリジナル)

Spoken language understanding (SLU) typically includes two subtasks: intent detection and slot filling. Currently, it has achieved great success in high-resource languages, but it still remains challenging in low-resource languages due to the scarcity of labeled training data. Hence, there is a growing interest in zero-shot cross-lingual SLU. Despite of the success of existing zero-shot cross-lingual SLU models, most of them neglect to achieve the mutual guidance between intent and slots. To address this issue, we propose an Intra-Inter Knowledge Distillation framework for zero-shot cross-lingual Spoken Language Understanding (I$^2$KD-SLU) to model the mutual guidance. Specifically, we not only apply intra-knowledge distillation between intent predictions or slot predictions of the same utterance in different languages, but also apply inter-knowledge distillation between intent predictions and slot predictions of the same utterance. Our experimental results demonstrate that our proposed framework significantly improves the performance compared with the strong baselines and achieves the new state-of-the-art performance on the MultiATIS++ dataset, obtaining a significant improvement over the previous best model in overall accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google