A Stochastic Optimization Framework for Private and Fair Learning From Decentralized Data

要約

機械学習モデルは、さまざまな「サイロ」 (病院など) に分散されている機密データ (医療記録や人種/性別など) に基づいてトレーニングされることがよくあります。
これらの連合学習モデルは、医療リソースの割り当てなどの結果的な決定を行うために使用できます。
この設定では 2 つの重要な課題が生じます。(i) 他のサイロや中央サーバーにアクセスできる敵対者がこのデータを推測しようとした場合でも、各個人のデータのプライバシーを維持すること。
(ii) 決定が異なる人口統計グループ (例: 人種/性別) に対して公平であることを保証する。
この論文では、プライベートかつ公平なフェデレーテッド ラーニング (FL) のための新しいアルゴリズムを開発します。
私たちのアルゴリズムは、サイロ間レコードレベル差分プライバシー (ISRL-DP) を満たしています。これは、サイロ i の送信メッセージがすべての i のレコードレベル差分プライバシーを満たすことを要求するプライベート FL の強い概念です。
私たちのフレームワークは、人口統計上の平等や均等化されたオッズなど、さまざまな公平性の概念を促進するために使用できます。
以前の研究では収束のために強い凸性が必要でしたが、私たちのアルゴリズムは損失関数の穏やかな滑らかさの仮定の下で収束することを証明します。
解析の副産物として、ISRL-DP の非凸-強い凹の最小-最大 FL に対する最初の収束保証が得られます。
実験では、さまざまなプライバシー レベルにわたるアルゴリズムの最先端の公平性と精度のトレードオフを実証しています。

要約(オリジナル)

Machine learning models are often trained on sensitive data (e.g., medical records and race/gender) that is distributed across different ‘silos’ (e.g., hospitals). These federated learning models may then be used to make consequential decisions, such as allocating healthcare resources. Two key challenges emerge in this setting: (i) maintaining the privacy of each person’s data, even if other silos or an adversary with access to the central server tries to infer this data; (ii) ensuring that decisions are fair to different demographic groups (e.g., race/gender). In this paper, we develop a novel algorithm for private and fair federated learning (FL). Our algorithm satisfies inter-silo record-level differential privacy (ISRL-DP), a strong notion of private FL requiring that silo i’s sent messages satisfy record-level differential privacy for all i. Our framework can be used to promote different fairness notions, including demographic parity and equalized odds. We prove that our algorithm converges under mild smoothness assumptions on the loss function, whereas prior work required strong convexity for convergence. As a byproduct of our analysis, we obtain the first convergence guarantee for ISRL-DP nonconvex-strongly concave min-max FL. Experiments demonstrate the state-of-the-art fairness-accuracy tradeoffs of our algorithm across different privacy levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google