Cluster Specific Representation Learning

要約

表現学習は、表現として知られる意味のある低次元の埋め込みをデータから抽出することを目的としています。
広く適用されているにもかかわらず、「良い」表現について確立された定義はありません。
通常、表現の品質は、クラスタリングやノイズ除去などの下流タスクのパフォーマンスに基づいて評価されます。ただし、このタスク固有のアプローチには、あるタスクで良好なパフォーマンスを発揮する表現が、別のタスクでは必ずしも有効であるとは限らないという制限があります。
。
これは、より不可知論的な定式化の必要性を強調しており、これが私たちの研究の焦点です。
我々は、ダウンストリームに依存しない定式化を提案します。つまり、データ内に固有のクラスターが存在する場合、表現は各クラスターに固有である必要があります。
この考えに基づいて、クラスター固有の表現とクラスターの割り当てを共同で学習するメタアルゴリズムを開発します。
私たちのアプローチはあらゆる表現学習フレームワークと簡単に統合できるため、オートエンコーダー、変分オートエンコーダー、対照学習モデル、制限付きボルツマン マシンなどのさまざまなセットアップでその有効性を実証します。
クラスター固有のエンベディングを、標準のエンベディングや、ノイズ除去やクラスター化などの下流タスクと定性的に比較します。
私たちの方法では、標準モデルと比較して実行時間とパラメーターがわずかに増加しますが、実験ではデータ内に固有のクラスター構造が抽出され、関連するアプリケーションのパフォーマンスが向上することが明確に示されています。

要約(オリジナル)

Representation learning aims to extract meaningful lower-dimensional embeddings from data, known as representations. Despite its widespread application, there is no established definition of a “good” representation. Typically, the representation quality is evaluated based on its performance in downstream tasks such as clustering, de-noising, etc. However, this task-specific approach has a limitation where a representation that performs well for one task may not necessarily be effective for another. This highlights the need for a more agnostic formulation, which is the focus of our work. We propose a downstream-agnostic formulation: when inherent clusters exist in the data, the representations should be specific to each cluster. Under this idea, we develop a meta-algorithm that jointly learns cluster-specific representations and cluster assignments. As our approach is easy to integrate with any representation learning framework, we demonstrate its effectiveness in various setups, including Autoencoders, Variational Autoencoders, Contrastive learning models, and Restricted Boltzmann Machines. We qualitatively compare our cluster-specific embeddings to standard embeddings and downstream tasks such as de-noising and clustering. While our method slightly increases runtime and parameters compared to the standard model, the experiments clearly show that it extracts the inherent cluster structures in the data, resulting in improved performance in relevant applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google