Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization

要約

フェデレーテッド ラーニング (FL) は、データをソースに常駐できるようにすることでデータ プライバシーを向上させるように設計されたパラダイムとして登場しました。これにより、集中型か分散型かにかかわらず、プライバシーが FL アーキテクチャの中心的な考慮事項として組み込まれます。
分散型 FL は経験的に集中型モデルに比べて追加のプライバシーやセキュリティ上の利点をもたらさないことを示唆する Pasquini らの最近の調査結果とは対照的に、私たちの調査はそれとは反対の説得力のある証拠を提供します。
私たちは、分散型最適化を導入する際に、分散型 FL が集中型のアプローチと比較して、理論的にも経験的にも強化されたプライバシー保護を提供することを実証します。
反復プロセスを通じてプライバシー損失を定量化するという課題は、伝統的に FL プロトコルの理論的探求を制約していました。
私たちは、両方のフレームワークに対して先駆的な詳細な情報理論的プライバシー分析を実施することで、この問題を克服しました。
盗聴モデルと受動的攻撃者モデルの両方を考慮した私たちの分析は、プライバシー漏洩の限界を確立することに成功しました。
分散型 FL におけるプライバシーの損失は、集中型 FL におけるプライバシーの損失によって上限が制限されるという情報を理論的に示します。
個々の参加者のローカル勾配が直接明らかにされる集中型の場合と比較して、最適化ベースの分散型 FL の主な違いは、関連する情報に、連続する反復にわたるローカル勾配の差と、ネットワーク上のさまざまなノードの勾配の合計が含まれることです。
この情報により、敵対者が個人データを推測しようとする試みが複雑になります。
理論的な洞察を実際のアプリケーションに橋渡しするために、ロジスティック回帰とディープ ニューラル ネットワークを含む詳細なケーススタディを紹介します。
これらの例は、より単純なモデルではプライバシー漏洩が同等である一方、ディープ ニューラル ネットワークのような複雑なモデルでは、分散型 FL ではプライバシー リスクが低いことを示しています。

要約(オリジナル)

Federated learning (FL) emerged as a paradigm designed to improve data privacy by enabling data to reside at its source, thus embedding privacy as a core consideration in FL architectures, whether centralized or decentralized. Contrasting with recent findings by Pasquini et al., which suggest that decentralized FL does not empirically offer any additional privacy or security benefits over centralized models, our study provides compelling evidence to the contrary. We demonstrate that decentralized FL, when deploying distributed optimization, provides enhanced privacy protection – both theoretically and empirically – compared to centralized approaches. The challenge of quantifying privacy loss through iterative processes has traditionally constrained the theoretical exploration of FL protocols. We overcome this by conducting a pioneering in-depth information-theoretical privacy analysis for both frameworks. Our analysis, considering both eavesdropping and passive adversary models, successfully establishes bounds on privacy leakage. We show information theoretically that the privacy loss in decentralized FL is upper bounded by the loss in centralized FL. Compared to the centralized case where local gradients of individual participants are directly revealed, a key distinction of optimization-based decentralized FL is that the relevant information includes differences of local gradients over successive iterations and the aggregated sum of different nodes’ gradients over the network. This information complicates the adversary’s attempt to infer private data. To bridge our theoretical insights with practical applications, we present detailed case studies involving logistic regression and deep neural networks. These examples demonstrate that while privacy leakage remains comparable in simpler models, complex models like deep neural networks exhibit lower privacy risks under decentralized FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google