All Labels Together: Low-shot Intent Detection with an Efficient Label Semantic Encoding Paradigm

要約

インテント検出タスクでは、インテント ラベルからの意味のあるセマンティック情報を活用することが、ショット数が少ないシナリオで特に有益です。
しかし、既存の少数ショットのインテント検出方法は、インテント ラベルを無視するか（たとえば、インテントをインデックスとして扱う）、またはこの情報を完全に利用していません（たとえば、インテント ラベルの一部のみを使用する）。
この研究では、入力発話とすべてのラベル候補の比較を可能にするエンドツーエンドの One-to-All システムを紹介します。
システムは、この方法でラベルのセマンティクスを完全に利用できるようになります。
3 つの少数ショット意図検出タスクに関する実験では、トレーニング リソースが非常に不足している場合に One-to-All が特に効果的であり、1 ショット、3 ショット、および 5 ショット設定で最先端のパフォーマンスを達成できることが実証されました。
さらに、言い換えによる間接的な監視を利用するモデルの新しい事前トレーニング戦略を提示し、意図検出タスクでのゼロショットのクロスドメイン一般化を可能にします。
私たちのコードは https://github.com/jiangshdd/AllLablesTogether にあります。

要約(オリジナル)

In intent detection tasks, leveraging meaningful semantic information from intent labels can be particularly beneficial for few-shot scenarios. However, existing few-shot intent detection methods either ignore the intent labels, (e.g. treating intents as indices) or do not fully utilize this information (e.g. only using part of the intent labels). In this work, we present an end-to-end One-to-All system that enables the comparison of an input utterance with all label candidates. The system can then fully utilize label semantics in this way. Experiments on three few-shot intent detection tasks demonstrate that One-to-All is especially effective when the training resource is extremely scarce, achieving state-of-the-art performance in 1-, 3- and 5-shot settings. Moreover, we present a novel pretraining strategy for our model that utilizes indirect supervision from paraphrasing, enabling zero-shot cross-domain generalization on intent detection tasks. Our code is at https://github.com/jiangshdd/AllLablesTogether.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google