Exploring the Limits of Natural Language Inference Based Setup for Few-Shot Intent Detection

要約

意図の検出は、対話システムの中核となるタスクの 1 つです。
新規クラスの注釈付き発話の数が限られているため、少数ショットの意図検出は困難です。
一般化された少数ショット インテント検出は、より現実的ですが、それぞれの例が少ない新規インテントと、十分なラベル付きデータで構成される既存のインテントの両方の結合ラベル空間を区別することを目的とした、困難な設定です。
ラベルスペースが大きく、ショット数が少ないと、タスクが複雑になります。
この研究では、クラスラベル名のセマンティクスを利用して新しいクラスを学習および予測する、自然言語推論に基づくシンプルで効果的な方法を採用しています。
私たちの手法は、1 ショットおよび 5 ショットの意図検出タスクで最先端の結果を達成し、4 つのベンチマーク データセットの F1 スコアで 2 ～ 8\% ポイントの範囲のゲインを達成しました。
また、私たちの方法は、一般化された少数ショットの意図検出のより実用的な設定において、既存のアプローチよりも優れており、F1 スコアが最大 20% 向上します。
提案されたアプローチが、クラス ラベルの数が 7 個から最大 150 個までの単一およびマルチドメイン データセット全体で良好に機能することを示します。

要約(オリジナル)

Intent Detection is one of the core tasks of dialog systems. Few-shot Intent Detection is challenging due to limited number of annotated utterances for novel classes. Generalized Few-shot intent detection is more realistic but challenging setup which aims to discriminate the joint label space of both novel intents which have few examples each and existing intents consisting of enough labeled data. Large label spaces and fewer number of shots increase the complexity of the task. In this work, we employ a simple and effective method based on Natural Language Inference that leverages the semantics in the class-label names to learn and predict the novel classes. Our method achieves state-of-the-art results on 1-shot and 5-shot intent detection task with gains ranging from 2-8\% points in F1 score on four benchmark datasets. Our method also outperforms existing approaches on a more practical setting of generalized few-shot intent detection with gains up to 20% F1 score. We show that the suggested approach performs well across single and multi domain datasets with the number of class labels from as few as 7 to as high as 150.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google