IDAS: Intent Discovery with Abstractive Summarization

要約

インテント検出は、ラベルのない一連の発話から潜在的なインテントを推測するタスクであり、新しい会話エージェントを効率的に作成するための有用なステップです。
我々は、意図発見における最近の競合手法が、本質的でない情報を削除しながらコア要素を保持する抽象的な要約、つまり「ラベル」に基づいて発話をクラスタリングすることによって、優れたパフォーマンスを発揮できることを示します。
我々は、プロトタイプ的発話の適切に選択されたシードセットから開始して大規模言語モデルを促し、インコンテキスト学習手順をブートストラップして非プロトタイプ的発話のラベルを生成することで、説明的な発話ラベルのセットを収集する IDAS アプローチに貢献します。
発話とその結果として生じるノイズの多いラベルは、凍結された事前トレーニングされたエンコーダーによってエンコードされ、その後クラスター化されて潜在的な意図が回復されます。
教師なしタスク (インテント ラベルなし) の場合、IDAS は、Banking、StackOverflow、および Transport データセットの標準クラスター メトリックにおいて、最先端のタスクを最大 +7.42% 上回ります。
半教師ありタスク (インテントのサブセットにラベルを使用) の場合、IDAS は、ラベル付きデータを使用せずに、CLINC ベンチマークで最近の 2 つの手法を上回りました。

要約(オリジナル)

Intent discovery is the task of inferring latent intents from a set of unlabeled utterances, and is a useful step towards the efficient creation of new conversational agents. We show that recent competitive methods in intent discovery can be outperformed by clustering utterances based on abstractive summaries, i.e., ‘labels’, that retain the core elements while removing non-essential information. We contribute the IDAS approach, which collects a set of descriptive utterance labels by prompting a Large Language Model, starting from a well-chosen seed set of prototypical utterances, to bootstrap an In-Context Learning procedure to generate labels for non-prototypical utterances. The utterances and their resulting noisy labels are then encoded by a frozen pre-trained encoder, and subsequently clustered to recover the latent intents. For the unsupervised task (without any intent labels) IDAS outperforms the state-of-the-art by up to +7.42% in standard cluster metrics for the Banking, StackOverflow, and Transport datasets. For the semi-supervised task (with labels for a subset of intents) IDAS surpasses 2 recent methods on the CLINC benchmark without even using labeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google