Federated Momentum Contrastive Clustering

要約

フェデレーションモメンタムコントラストクラスタリング（FedMCC）を紹介します。これは、分散ローカルデータの識別表現を抽出できるだけでなく、データクラスタリングも実行できる学習フレームワークです。
FedMCCでは、変換されたデータペアがオンラインネットワークとターゲットネットワークの両方を通過するため、損失が決定される4つの表現が生成されます。
FedMCCによって生成された結果として得られる高品質の表現は、線形評価および半教師あり学習タスクのためのいくつかの既存の自己監視学習方法よりも優れたパフォーマンスを発揮します。
FedMCCは、モメンタムコントラストクラスタリング（MCC）と呼ばれるものを使用して、通常の集中型クラスタリングに簡単に適合させることができます。
MCCがSTL-10やImageNet-10などの特定のデータセットで最先端のクラスタリング精度の結果を達成することを示します。
また、クラスタリングスキームのメモリフットプリントを削減する方法も紹介します。

要約(オリジナル)

We present federated momentum contrastive clustering (FedMCC), a learning framework that can not only extract discriminative representations over distributed local data but also perform data clustering. In FedMCC, a transformed data pair passes through both the online and target networks, resulting in four representations over which the losses are determined. The resulting high-quality representations generated by FedMCC can outperform several existing self-supervised learning methods for linear evaluation and semi-supervised learning tasks. FedMCC can easily be adapted to ordinary centralized clustering through what we call momentum contrastive clustering (MCC). We show that MCC achieves state-of-the-art clustering accuracy results in certain datasets such as STL-10 and ImageNet-10. We also present a method to reduce the memory footprint of our clustering schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google