Discriminative Representation learning via Attention-Enhanced Contrastive Learning for Short Text Clustering

要約

対照学習は、短文クラスタリングにおいて大きな注目を集めていますが、同じカテゴリのサンプルを誤って陰性と識別し、特徴空間内でそれらを分離する (偽陰性分離) という固有の欠点があり、優れた表現の生成が妨げられます。
効率的なクラスタリングのためにより多くの識別表現を生成するために、\textbf{A}ttention-\textbf{E}nhanced \textbf{C}ontrastive \textbf{L}earning for Short による識別表現学習と呼ばれる、新しい短テキスト クラスタリング手法を提案します。
テキスト クラスタリング (\textbf{AECL})。
\textbf{AECL} は、擬似ラベル生成モジュールと対照学習モジュールの 2 つのモジュールで構成されます。
どちらのモジュールもサンプルレベルのアテンション メカニズムを構築して、サンプル間の類似性関係をキャプチャし、サンプル間の特徴を集約して一貫した表現を生成します。
次に、前者のモジュールは、より識別力の高い一貫した表現を使用して、クラスタリングを支援するための信頼できる監視情報を生成します。一方、後者のモジュールは、類似性関係を探索し、一貫した表現によって陽性サンプルの構築を最適化し、類似性に基づく対照学習を実行し、偽陰性分離に効果的に対処します。
問題。
実験結果は、提案された \textbf{AECL} が最先端の方法よりも優れていることを示しています。
論文が受理されれば、コードをオープンソース化します。

要約(オリジナル)

Contrastive learning has gained significant attention in short text clustering, yet it has an inherent drawback of mistakenly identifying samples from the same category as negatives and then separating them in the feature space (false negative separation), which hinders the generation of superior representations. To generate more discriminative representations for efficient clustering, we propose a novel short text clustering method, called Discriminative Representation learning via \textbf{A}ttention-\textbf{E}nhanced \textbf{C}ontrastive \textbf{L}earning for Short Text Clustering (\textbf{AECL}). The \textbf{AECL} consists of two modules which are the pseudo-label generation module and the contrastive learning module. Both modules build a sample-level attention mechanism to capture similarity relationships between samples and aggregate cross-sample features to generate consistent representations. Then, the former module uses the more discriminative consistent representation to produce reliable supervision information for assist clustering, while the latter module explores similarity relationships and consistent representations optimize the construction of positive samples to perform similarity-guided contrastive learning, effectively addressing the false negative separation issue. Experimental results demonstrate that the proposed \textbf{AECL} outperforms state-of-the-art methods. If the paper is accepted, we will open-source the code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google