Data Similarity-Based One-Shot Clustering for Multi-Task Hierarchical Federated Learning

要約

我々は、ユーザが異なるタスクの学習に取り組む階層的連合学習環境におけるクラスタ同一性推定の問題に取り組む。タスクの異質性という課題を克服するためには、同じタスクを持つユーザが同じグループに属し、他のグループと特徴抽出層の重みを共有しながら一緒に学習を行うように、ユーザをグループ化する必要がある。そのために、データの類似性に基づいてユーザを効果的に識別し、グループ化できるワンショットクラスタリングアルゴリズムを提案する。これにより、連携学習システム内において、より効率的な連携と共通レイヤ表現の共有が可能となる。提案アルゴリズムはクラスタリングプロセスを強化するだけでなく、プライバシーの懸念、通信オーバーヘッド、学習モデルや損失関数の振る舞いに関する事前知識の必要性に関連する課題も克服する。CIFAR-10やFashion MNISTなどの様々なデータセットを用いて提案アルゴリズムを検証し、精度と分散削減の点でベースラインを上回ることを示す。

要約(オリジナル)

We address the problem of cluster identity estimation in a hierarchical federated learning setting in which users work toward learning different tasks. To overcome the challenge of task heterogeneity, users need to be grouped in a way such that users with the same task are in the same group, conducting training together, while sharing the weights of feature extraction layers with the other groups. Toward that end, we propose a one-shot clustering algorithm that can effectively identify and group users based on their data similarity. This enables more efficient collaboration and sharing of a common layer representation within the federated learning system. Our proposed algorithm not only enhances the clustering process, but also overcomes challenges related to privacy concerns, communication overhead, and the need for prior knowledge about learning models or loss function behaviors. We validate our proposed algorithm using various datasets such as CIFAR-10 and Fashion MNIST, and show that it outperforms the baseline in terms of accuracy and variance reduction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL