IntenDD: A Unified Contrastive Learning Approach for Intent Detection and Discovery

要約

対話の発話から意図を識別することは、タスク指向の対話システムの不可欠なコンポーネントを形成します。
インテント関連タスクは通常、発話が事前定義されたカテゴリに分類される分類タスクとして、またはこれらの発話から新しい以前に知られていないインテント カテゴリを発見する必要がある場合のクラスタリング タスクとして定式化されます。
さらに、意図の分類は、マルチクラス (MC) またはマルチラベル (ML) 設定でモデル化できます。
通常、これらのタスクは個別のタスクとしてモデル化されますが、私たちは、共有発話エンコーディング バックボーンを活用する統合アプローチである IntenDD を提案します。
IntenDD は、表現学習に完全に教師なしの対比学習戦略を使用します。ラベルのない発話の擬似ラベルは、その語彙的特徴に基づいて生成されます。
さらに、修正吸着を使用した分類タスク用の 2 段階の後処理セットアップを導入します。
ここでは、まずトレーニング データの残差が伝播され、続いてトランスダクティブ設定でモデル化されたラベルが平滑化されます。
さまざまなベンチマーク データセットに対する広範な評価を通じて、私たちのアプローチは 3 つのタスクすべてにおいて競合ベースラインを常に上回っていることがわかりました。
平均して、IntenDD は、少数ショット MC、少数ショット ML、およびインテント検出タスクのそれぞれのメトリクスで、それぞれ 2.32%、1.26%、および 1.52% の改善率を報告しています。

要約(オリジナル)

Identifying intents from dialogue utterances forms an integral component of task-oriented dialogue systems. Intent-related tasks are typically formulated either as a classification task, where the utterances are classified into predefined categories or as a clustering task when new and previously unknown intent categories need to be discovered from these utterances. Further, the intent classification may be modeled in a multiclass (MC) or multilabel (ML) setup. While typically these tasks are modeled as separate tasks, we propose IntenDD, a unified approach leveraging a shared utterance encoding backbone. IntenDD uses an entirely unsupervised contrastive learning strategy for representation learning, where pseudo-labels for the unlabeled utterances are generated based on their lexical features. Additionally, we introduce a two-step post-processing setup for the classification tasks using modified adsorption. Here, first, the residuals in the training data are propagated followed by smoothing the labels both modeled in a transductive setting. Through extensive evaluations on various benchmark datasets, we find that our approach consistently outperforms competitive baselines across all three tasks. On average, IntenDD reports percentage improvements of 2.32%, 1.26%, and 1.52% in their respective metrics for few-shot MC, few-shot ML, and the intent discovery tasks respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google