A Diffusion Weighted Graph Framework for New Intent Discovery

要約

New Intent Discovery (NID) は、既知のインテントのみを含む限定されたラベル付きデータを利用して、ラベルなしデータから新しいインテントと既知のインテントの両方を認識することを目的としています。
サンプル間の構造関係を考慮しないと、これまでの方法では量と質のバランスを取ることができないノイズの多い監視信号が生成され、新しい意図クラスターの形成やトレーニング前の知識の効果的な伝達が妨げられていました。
この制限を軽減するために、データに固有の意味論的な類似性と構造関係の両方を捕捉し、より十分で信頼性の高い監視信号を可能にする新しい拡散加重グラフ フレームワーク (DWGF) を提案します。
具体的には、各サンプルについて、複数のホップの最近傍によって導かれるセマンティック パスに沿って近隣関係を拡散し、その局所構造を区別して特徴付けます。
次に、その正のキーをサンプリングし、意味上の類似性と対照学習のための局所構造に基づいてそれらを重み付けします。
推論中に、クラスタ境界上の意味的に曖昧なサンプルに組み込まれた高周波ノイズをフィルタリングするために構造関係を明示的に利用するグラフ スムージング フィルタ (GSF) をさらに提案します。
広範な実験により、私たちの手法が複数のベンチマーク データセットにわたるすべての評価指標において最先端のモデルよりも優れていることが示されています。
コードとデータは https://github.com/yibai-shi/DWGF で入手できます。

要約(オリジナル)

New Intent Discovery (NID) aims to recognize both new and known intents from unlabeled data with the aid of limited labeled data containing only known intents. Without considering structure relationships between samples, previous methods generate noisy supervisory signals which cannot strike a balance between quantity and quality, hindering the formation of new intent clusters and effective transfer of the pre-training knowledge. To mitigate this limitation, we propose a novel Diffusion Weighted Graph Framework (DWGF) to capture both semantic similarities and structure relationships inherent in data, enabling more sufficient and reliable supervisory signals. Specifically, for each sample, we diffuse neighborhood relationships along semantic paths guided by the nearest neighbors for multiple hops to characterize its local structure discriminately. Then, we sample its positive keys and weigh them based on semantic similarities and local structures for contrastive learning. During inference, we further propose Graph Smoothing Filter (GSF) to explicitly utilize the structure relationships to filter high-frequency noise embodied in semantically ambiguous samples on the cluster boundary. Extensive experiments show that our method outperforms state-of-the-art models on all evaluation metrics across multiple benchmark datasets. Code and data are available at https://github.com/yibai-shi/DWGF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google