Heterogeneous Tri-stream Clustering Network

要約

対照的ディープ クラスタリングは、ディープ ニューラル ネットワークを介した共同対照的学習とクラスタリングの機能により、最近大きな注目を集めています。
急速な進歩にもかかわらず、以前の研究では、対照的なクラスタリングに正と負の両方のサンプルペアが必要であり、比較的大きなバッチサイズに依存しています。
さらに、彼らは通常、2 つの拡張ビューを備えた 2 ストリーム アーキテクチャを採用しており、マルチストリーム アーキテクチャの可能性と潜在的な利点を見落としています (特に異種ネットワークまたはハイブリッド ネットワークの場合)。
これに照らして、このホワイト ペーパーでは、異種トリストリーム クラスタリング ネットワーク (HTCN) と呼ばれる新しいエンド ツー エンドのディープ クラスタリング アプローチを紹介します。
HTCN のトライストリーム アーキテクチャは、2 つの重みを共有するオンライン ネットワークと、ターゲット ネットワークのパラメーターがオンライン ネットワークのパラメーターの指数移動平均であるターゲット ネットワークを含む 3 つの主要コンポーネントで構成されます。
特に、2 つのオンライン ネットワークは、(i) ターゲット ネットワークのインスタンス表現を予測し、(ii) ターゲット ネットワークのクラスター表現と 2 つのオンライン ネットワークのクラスター表現の間の一貫性を強制することによって同時にトレーニングされます。
4 つの挑戦的な画像データセットに関する実験結果は、最先端のディープ クラスタリング アプローチに対する HTCN の優位性を示しています。
コードは https://github.com/dengxiaozhi/HTCN で入手できます。

要約(オリジナル)

Contrastive deep clustering has recently gained significant attention with its ability of joint contrastive learning and clustering via deep neural networks. Despite the rapid progress, previous works mostly require both positive and negative sample pairs for contrastive clustering, which rely on a relative large batch-size. Moreover, they typically adopt a two-stream architecture with two augmented views, which overlook the possibility and potential benefits of multi-stream architectures (especially with heterogeneous or hybrid networks). In light of this, this paper presents a new end-to-end deep clustering approach termed Heterogeneous Tri-stream Clustering Network (HTCN). The tri-stream architecture in HTCN consists of three main components, including two weight-sharing online networks and a target network, where the parameters of the target network are the exponential moving average of that of the online networks. Notably, the two online networks are trained by simultaneously (i) predicting the instance representations of the target network and (ii) enforcing the consistency between the cluster representations of the target network and that of the two online networks. Experimental results on four challenging image datasets demonstrate the superiority of HTCN over the state-of-the-art deep clustering approaches. The code is available at https://github.com/dengxiaozhi/HTCN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google