CCFC: Bridging Federated Clustering and Contrastive Learning

要約

フェデレーテッド クラスタリングは、フェデレーテッド シナリオのための集中クラスタリングの重要な拡張機能であり、複数のデータ保持クライアントがデータをローカルに保持しながら、協力してデータをグループ化できるようにします。
一元化されたシナリオでは、表現学習によるクラスタリングにより、高次元の複雑なデータの処理が大幅に進歩しました。
ただし、フェデレーテッド クラスタリングと表現学習の組み合わせはまだ十分に研究されていません。
これを埋めるために、まずクラスタリングに適した表現を学習するためにクラスタ対照モデルを調整します。
次に、このモデルを、クラスター対比連合クラスタリング (CCFC) と呼ばれる新しい連合クラスタリング手法を提案するための基礎として利用します。
表現学習の恩恵を受けて、CCFC のクラスタリング パフォーマンスは、場合によっては最良のベースライン手法の 2 倍にもなります。
最も関連性の高いベースラインと比較すると、この利点により、最も顕著なケースで最大 0.4155 の NMI スコアの大幅な改善が見られます。
さらに、CCFC は実用的な観点から、デバイスの故障への対応においても優れたパフォーマンスを示します。

要約(オリジナル)

Federated clustering, an essential extension of centralized clustering for federated scenarios, enables multiple data-holding clients to collaboratively group data while keeping their data locally. In centralized scenarios, clustering driven by representation learning has made significant advancements in handling high-dimensional complex data. However, the combination of federated clustering and representation learning remains underexplored. To bridge this, we first tailor a cluster-contrastive model for learning clustering-friendly representations. Then, we harness this model as the foundation for proposing a new federated clustering method, named cluster-contrastive federated clustering (CCFC). Benefiting from representation learning, the clustering performance of CCFC even double those of the best baseline methods in some cases. Compared to the most related baseline, the benefit results in substantial NMI score improvements of up to 0.4155 on the most conspicuous case. Moreover, CCFC also shows superior performance in handling device failures from a practical viewpoint.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google