One-Shot Clustering for Federated Learning

要約

Federated Learning（FL）は、参加しているクライアント間でデータを直接転送する必要なく、複数のソースから1つのモデルをトレーニングできる分散学習の広範囲でよく採用されたパラダイムです。
2015年の設立以来、データの不均一性やリソース割り当てなど、アプリケーション固有の問題を扱う多数のサブフィールドに分けられています。
そのようなサブフィールド、クラスター化されたフェデレーションラーニング（CFL）は、クライアントの母集団を個別のコホートにクラスタリングしてパーソナライズされたモデルを提供する問題に対処しています。
このドメインには驚くべき作品はほとんど掲載されていませんが、その基本的な仮定と設定は標準FLとはわずかに異なるため、問題は依然としてほとんど説明されていません。
この作業では、クラスタリングに適切な瞬間を自動的に検出できるクラスタリングと存在するアルゴリズムであるワンショットクラスター化フェデレートラーニング（OCFL）を提示します。
私たちのアルゴリズムは、クライアントの勾配間のコサインの類似性と、フェデレーションモデルが収束し始めたときに検出する温度測定値の計算に基づいています。
3つのベンチマークデータセットで30を超える異なるタスクについて、さまざまなワンショットクラスタリングアルゴリズムをテストすることにより、方法論を経験的に評価します。
私たちの実験は、ハイパーパラメーターを調整する必要なく、自動化された方法でCFLを実行するために使用される場合のアプローチの良好なパフォーマンスを示しています。

要約(オリジナル)

Federated Learning (FL) is a widespread and well adopted paradigm of decentralized learning that allows training one model from multiple sources without the need to directly transfer data between participating clients. Since its inception in 2015, it has been divided into numerous sub-fields that deal with application-specific issues, be it data heterogeneity or resource allocation. One such sub-field, Clustered Federated Learning (CFL), is dealing with the problem of clustering the population of clients into separate cohorts to deliver personalized models. Although few remarkable works have been published in this domain, the problem is still largely unexplored, as its basic assumption and settings are slightly different from standard FL. In this work, we present One-Shot Clustered Federated Learning (OCFL), a clustering-agnostic algorithm that can automatically detect the earliest suitable moment for clustering. Our algorithm is based on the computation of cosine similarity between gradients of the clients and a temperature measure that detects when the federated model starts to converge. We empirically evaluate our methodology by testing various one-shot clustering algorithms for over thirty different tasks on three benchmark datasets. Our experiments showcase the good performance of our approach when used to perform CFL in an automated manner without the need to adjust hyperparameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google