On the Tradeoff between Privacy Preservation and Byzantine-Robustness in Decentralized Learning

要約

この論文では、分散学習におけるプライバシー保護とビザンチン堅牢性について共同で検討します。
分散型ネットワークでは、正直だが好奇心旺盛なエージェントは規定のアルゴリズムに忠実に従いますが、学習プロセス中に受信したメッセージから隣人の個人データを推測することを期待していますが、不正直でビザンチン的なエージェントは規定のアルゴリズムに従わず、意図的に間違った情報を広めます。
学習プロセスに偏りを与えるために、隣人にメッセージを送ります。
この新しい設定では、一般的なプライバシー保護とビザンチン堅牢な分散確率勾配降下法 (SGD) フレームワークを調査します。このフレームワークでは、プライバシーを保護するためにガウス ノイズが注入され、ビザンチン攻撃に対抗するために堅牢な集約ルールが採用されています。
私たちはその学習エラーとプライバシーの保証を分析し、分散学習におけるプライバシーの保護とビザンチン堅牢性の間の本質的なトレードオフを発見しました。ビザンチン攻撃に対する防御によって引き起こされる学習エラーは、プライバシーを保護するために追加されたガウス ノイズによって悪化します。
数値実験が実施され、理論的発見が裏付けられます。

要約(オリジナル)

This paper jointly considers privacy preservation and Byzantine-robustness in decentralized learning. In a decentralized network, honest-but-curious agents faithfully follow the prescribed algorithm, but expect to infer their neighbors’ private data from messages received during the learning process, while dishonest-and-Byzantine agents disobey the prescribed algorithm, and deliberately disseminate wrong messages to their neighbors so as to bias the learning process. For this novel setting, we investigate a generic privacy-preserving and Byzantine-robust decentralized stochastic gradient descent (SGD) framework, in which Gaussian noise is injected to preserve privacy and robust aggregation rules are adopted to counteract Byzantine attacks. We analyze its learning error and privacy guarantee, discovering an essential tradeoff between privacy preservation and Byzantine-robustness in decentralized learning — the learning error caused by defending against Byzantine attacks is exacerbated by the Gaussian noise added to preserve privacy. Numerical experiments are conducted and corroborate our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google