Approximate Gradient Coding for Privacy-Flexible Federated Learning with Non-IID Data

要約

本研究では、連合学習における非IIDデータとはぐれ者／脱落者の課題に焦点を当てる。我々は、クライアントのローカルデータの一部を非プライベートとしてモデル化し、プライバシーについてより汎用的でビジネス指向の視点を提供する、プライバシーに柔軟なパラダイムを導入し探求する。このフレームワークの中で、ラベルの不均一性とクライアントのはぐれによる連合学習への影響を緩和するためのデータ駆動戦略を提案する。我々のソリューションは、オフラインデータ共有と近似勾配符号化技術の両方を組み合わせたものである。MNISTデータセットを用いた数値シミュレーションにより、我々のアプローチが、プライバシーと有用性の間の意図的なトレードオフを実現し、非プライベートデータの適応可能な部分を使用しながら、モデルの収束と精度の向上をもたらすことを実証する。

要約(オリジナル)

This work focuses on the challenges of non-IID data and stragglers/dropouts in federated learning. We introduce and explore a privacy-flexible paradigm that models parts of the clients’ local data as non-private, offering a more versatile and business-oriented perspective on privacy. Within this framework, we propose a data-driven strategy for mitigating the effects of label heterogeneity and client straggling on federated learning. Our solution combines both offline data sharing and approximate gradient coding techniques. Through numerical simulations using the MNIST dataset, we demonstrate that our approach enables achieving a deliberate trade-off between privacy and utility, leading to improved model convergence and accuracy while using an adaptable portion of non-private data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL