R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients

要約

分散データの広範なコレクションから学習する取り組みにおいて、フェデレーション ラーニングは、生データを交換する代わりに勾配共有メカニズムを使用することでプライバシーを保護するための有望なアプローチとして浮上しています。
ただし、最近の研究では、プライベート トレーニング データが多くの勾配攻撃を通じて漏洩する可能性があることが示されています。
これまでの分析ベースの攻撃では、完全に接続された層から入力データを再構築することに成功しましたが、畳み込み層に適用されるとその有効性は低下します。
この論文では、畳み込み層の勾配を効率的に利用する高度なデータ漏洩手法を紹介します。
私たちは、ReLU などの完全に可逆でない活性化関数を使用しても、勾配からトレーニング サンプルを分析的に再構築できるという驚くべき発見を提示しました。
私たちの知る限り、これは、層の出力を再構築する必要を回避し、勾配から直接畳み込み層の入力を首尾よく再構築した最初の分析アプローチです。
これまでの研究は主に畳み込み層の重み制約に焦点を当てており、勾配制約の重要性は見落とされてきました。
私たちの調査結果は、勾配攻撃のリスクを推定するために使用されている既存の分析手法には精度が欠けていることを示しています。
一部のレイヤーでは、報告された制約の 5% 未満で攻撃が開始される可能性があります。

要約(オリジナル)

In the effort to learn from extensive collections of distributed data, federated learning has emerged as a promising approach for preserving privacy by using a gradient-sharing mechanism instead of exchanging raw data. However, recent studies show that private training data can be leaked through many gradient attacks. While previous analytical-based attacks have successfully reconstructed input data from fully connected layers, their effectiveness diminishes when applied to convolutional layers. This paper introduces an advanced data leakage method to efficiently exploit convolutional layers’ gradients. We present a surprising finding: even with non-fully invertible activation functions, such as ReLU, we can analytically reconstruct training samples from the gradients. To the best of our knowledge, this is the first analytical approach that successfully reconstructs convolutional layer inputs directly from the gradients, bypassing the need to reconstruct layers’ outputs. Prior research has mainly concentrated on the weight constraints of convolution layers, overlooking the significance of gradient constraints. Our findings demonstrate that existing analytical methods used to estimate the risk of gradient attacks lack accuracy. In some layers, attacks can be launched with less than 5% of the reported constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google