Jigsaw Game: Federated Clustering

要約

フェデレーテッド ラーニングは、最近、特に教師あり学習の分野で大きな注目を集めています。
しかし、エンドユーザーに関するラベルのないデータが豊富に存在するにもかかわらず、フェデレーション設定でのクラスタリングなどの教師なし学習の問題は依然として調査されていません。
このペーパーでは、連合 K 平均法に焦点を当てて、連合クラスタリングの問題を調査します。
フェデレーテッドフレームワークにおける非凸目標とデータの異質性によってもたらされる課題の概要を説明します。
これらの課題に取り組むために、K 平均法での局所解の構造を研究することで新しい視点を採用し、FeCA (Federated Centroid Aggregation) と呼ばれるワンショット アルゴリズムを提案します。
FeCA は、クライアント上のローカル ソリューションを適応的に調整し、これらの洗練されたソリューションを集約して、1 ラウンドでデータセット全体のグローバル ソリューションを回復します。
私たちは、合成データと現実世界のデータの両方で、さまざまなフェデレーテッド シナリオの下で FeCA の堅牢性を経験的に実証します。
さらに、FeCA を表現学習に拡張し、フェデレーション設定での教師なし特徴学習のために DeepCluster と FeCA を組み合わせた DeepFeCA を紹介します。

要約(オリジナル)

Federated learning has recently garnered significant attention, especially within the domain of supervised learning. However, despite the abundance of unlabeled data on end-users, unsupervised learning problems such as clustering in the federated setting remain underexplored. In this paper, we investigate the federated clustering problem, with a focus on federated k-means. We outline the challenge posed by its non-convex objective and data heterogeneity in the federated framework. To tackle these challenges, we adopt a new perspective by studying the structures of local solutions in k-means and propose a one-shot algorithm called FeCA (Federated Centroid Aggregation). FeCA adaptively refines local solutions on clients, then aggregates these refined solutions to recover the global solution of the entire dataset in a single round. We empirically demonstrate the robustness of FeCA under various federated scenarios on both synthetic and real-world data. Additionally, we extend FeCA to representation learning and present DeepFeCA, which combines DeepCluster and FeCA for unsupervised feature learning in the federated setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google