ULDP-FL: Federated Learning with Across Silo User-Level Differential Privacy

要約

Differentially Private Federated Learning (DP-FL) は、形式的なプライバシーを確​​保する協調的な機械学習アプローチとして注目を集めています。
ほとんどの DP-FL アプローチでは、クロスサイロ FL の各サイロ内でレコードレベルの DP が保証されます。
ただし、単一ユーザーのデータは複数のサイロにまたがる可能性があり、そのような設定に対して望ましいユーザーレベルの DP 保証は不明のままです。
この研究では、単一のユーザーのデータが複数のサイロに属する可能性があるクロスサイロ FL でユーザーレベルの DP を保証するように設計された新しい FL フレームワークである Uldp-FL を紹介します。
私たちが提案するアルゴリズムは、グループ プライバシーのアプローチから離れて、ユーザーごとの重み付けクリッピングを通じてユーザー レベルの DP を直接保証します。
アルゴリズムのプライバシーと有用性の理論的分析を提供します。
さらに、ユーザー レコードの分布に基づいた強化された重み付け戦略により、提案されたアルゴリズムの有用性を強化し、サイロとサーバーに追加情報が漏洩しないようにする新しいプライベート プロトコルを設計します。
実世界のデータセットでの実験では、ベースライン手法と比較して、ユーザーレベルの DP の下でのプライバシーとユーティリティのトレードオフにおいて、私たちの手法が大幅に改善されていることが示されています。
私たちの知る限り、私たちの作品は、一般的なクロスサイロ FL 設定でユーザーレベルの DP を効果的に提供する最初の FL フレームワークです。

要約(オリジナル)

Differentially Private Federated Learning (DP-FL) has garnered attention as a collaborative machine learning approach that ensures formal privacy. Most DP-FL approaches ensure DP at the record-level within each silo for cross-silo FL. However, a single user’s data may extend across multiple silos, and the desired user-level DP guarantee for such a setting remains unknown. In this study, we present Uldp-FL, a novel FL framework designed to guarantee user-level DP in cross-silo FL where a single user’s data may belong to multiple silos. Our proposed algorithm directly ensures user-level DP through per-user weighted clipping, departing from group-privacy approaches. We provide a theoretical analysis of the algorithm’s privacy and utility. Additionally, we enhance the utility of the proposed algorithm with an enhanced weighting strategy based on user record distribution and design a novel private protocol that ensures no additional information is revealed to the silos and the server. Experiments on real-world datasets show substantial improvements in our methods in privacy-utility trade-offs under user-level DP compared to baseline methods. To the best of our knowledge, our work is the first FL framework that effectively provides user-level DP in the general cross-silo FL setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google