Towards Efficient and Effective Deep Clustering with Dynamic Grouping and Prototype Aggregation

要約

これまでの対照的なディープ クラスタリング手法は、主にインスタンス レベルの情報に焦点を当てており、グループ/クラスタ内のメンバーの関係を見落としており、その表現学習とクラスタリングの能力が大幅に損なわれる可能性があります。
最近、いくつかのグループ対比手法が開発されましたが、これは通常、疑似ラベルを取得するためにデータセット全体のサンプルに依存しており、バッチ方式でグループの割り当てを効率的に更新する機能がありません。
これらの重要な問題に取り組むために、DigPro と呼ばれる、動的なグループ化とプロトタイプ集約を備えた新しいエンドツーエンドのディープ クラスタリング フレームワークを紹介します。
具体的には、提案された動的グループ化は、対比学習をインスタンス レベルからグループ レベルに拡張し、グループをタイムリーに更新するのに効果的かつ効率的です。
一方、プロトタイプ集約と呼ばれる球状特徴空間内のプロトタイプに対して対比学習を実行し、クラスター間距離を最大化することを目的としています。
特に、期待値最大化フレームワークにより、DigPro は、コンパクトなクラスター内接続、適切に分離されたクラスター、および自己教師ありトレーニング中の効率的なグループ更新を同時に利用します。
6 つの画像ベンチマークに関する広範な実験により、当社のアプローチのパフォーマンスが最先端のものよりも優れていることが実証されました。
コードは https://github.com/Regan-Zhang/DigPro で入手できます。

要約(オリジナル)

Previous contrastive deep clustering methods mostly focus on instance-level information while overlooking the member relationship within groups/clusters, which may significantly undermine their representation learning and clustering capability. Recently, some group-contrastive methods have been developed, which, however, typically rely on the samples of the entire dataset to obtain pseudo labels and lack the ability to efficiently update the group assignments in a batch-wise manner. To tackle these critical issues, we present a novel end-to-end deep clustering framework with dynamic grouping and prototype aggregation, termed as DigPro. Specifically, the proposed dynamic grouping extends contrastive learning from instance-level to group-level, which is effective and efficient for timely updating groups. Meanwhile, we perform contrastive learning on prototypes in a spherical feature space, termed as prototype aggregation, which aims to maximize the inter-cluster distance. Notably, with an expectation-maximization framework, DigPro simultaneously takes advantage of compact intra-cluster connections, well-separated clusters, and efficient group updating during the self-supervised training. Extensive experiments on six image benchmarks demonstrate the superior performance of our approach over the state-of-the-art. Code is available at https://github.com/Regan-Zhang/DigPro.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google