Multi-Stage Coarse-to-Fine Contrastive Learning for Conversation Intent Induction

要約

意図認識は、タスク指向の対話システムにとって重要です。
ただし、新しいドメインや新しいサービスの場合、データの注釈に時間がかかり、モデルの転送性が比較的低いため、会話の主な意図を正確に特定することは困難です。
したがって、対話意図の自動誘導は、知的対話システムにとって非常に重要です。
この論文では、第 11 回対話システム技術チャレンジ (DSTC11) でのタスク指向対話のための会話からの意図誘導のトラック 2 に対するソリューションを紹介します。
意図クラスタリングの本質は、異なる対話発話の表現を区別することにあります。
自動意図誘導の鍵は、与えられた新しいデータのセットについて、モデルによって取得された文の表現がさまざまなラベルと十分に区別できることです。
したがって、教師なし対照学習事前トレーニング、教師あり対照学習事前トレーニング、共同対照学習とクラスタリングによる微調整を含む、多段階の粗から細かい対照学習モデル トレーニング スキームを提案して、より良い対話発話表現を取得します。
クラスタリング タスクのモデル。
公開された DSTC11 Track 2 の評価結果では、提案システムはこの Track の 2 つのサブタスクの両方で 1 位にランクされました。

要約(オリジナル)

Intent recognition is critical for task-oriented dialogue systems. However, for emerging domains and new services, it is difficult to accurately identify the key intent of a conversation due to time-consuming data annotation and comparatively poor model transferability. Therefore, the automatic induction of dialogue intention is very important for intelligent dialogue systems. This paper presents our solution to Track 2 of Intent Induction from Conversations for Task-Oriented Dialogue at the Eleventh Dialogue System Technology Challenge (DSTC11). The essence of intention clustering lies in distinguishing the representation of different dialogue utterances. The key to automatic intention induction is that, for any given set of new data, the sentence representation obtained by the model can be well distinguished from different labels. Therefore, we propose a multi-stage coarse-to-fine contrastive learning model training scheme including unsupervised contrastive learning pre-training, supervised contrastive learning pre-training, and fine-tuning with joint contrastive learning and clustering to obtain a better dialogue utterance representation model for the clustering task. In the released DSTC11 Track 2 evaluation results, our proposed system ranked first on both of the two subtasks of this Track.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google