Maximum Knowledge Orthogonality Reconstruction with Gradients in Federated Learning

要約

Federated Learning (FL) は、プライバシーを保護するためにクライアント データをローカルに保つことを目的としています。
サーバーはデータ自体を収集するのではなく、クライアントから集約された勾配更新のみを収集します。
FL の人気に続いて、勾配更新から入力データを再構築することによる FL アプローチの脆弱性を明らかにする、かなりの量の研究が行われてきました。
しかし、既存の作品のほとんどは、非現実的に小さいバッチ サイズの FL 設定を前提としており、バッチ サイズが大きい場合には画質が低下します。
他の作品では、ニューラル ネットワークのアーキテクチャやパラメータが疑わしいレベルに変更されるため、クライアントによって検出される可能性があります。
さらに、それらのほとんどは、大規模なバッチから入力された 1 つのサンプルしか再構築できません。
これらの制限に対処するために、クライアントの入力データを再構成するための、最大知識直交性再構成 (MKOR) と呼ばれる、新規かつ完全に分析的なアプローチを提案します。
私たちが提案する方法は、数学的に証明された高品質の画像を大規模なバッチから再構成します。
MKOR では、サーバーは秘密裏に変更されたパラメータをクライアントに送信するだけでよく、クライアントの勾配更新から入力画像を効率的かつ目立たずに再構築できます。
MNIST、CIFAR-100、ImageNet データセット上で MKOR のパフォーマンスを評価し、最先端の作品と比較します。
この結果は、MKOR が既存のアプローチよりも優れていることを示しており、包括的な防御アプローチを開発できるように FL のプライバシー保護に関するさらなる研究が急務であることが注目されています。

要約(オリジナル)

Federated learning (FL) aims at keeping client data local to preserve privacy. Instead of gathering the data itself, the server only collects aggregated gradient updates from clients. Following the popularity of FL, there has been considerable amount of work, revealing the vulnerability of FL approaches by reconstructing the input data from gradient updates. Yet, most existing works assume an FL setting with unrealistically small batch size, and have poor image quality when the batch size is large. Other works modify the neural network architectures or parameters to the point of being suspicious, and thus, can be detected by clients. Moreover, most of them can only reconstruct one sample input from a large batch. To address these limitations, we propose a novel and completely analytical approach, referred to as the maximum knowledge orthogonality reconstruction (MKOR), to reconstruct clients’ input data. Our proposed method reconstructs a mathematically proven high quality image from large batches. MKOR only requires the server to send secretly modified parameters to clients and can efficiently and inconspicuously reconstruct the input images from clients’ gradient updates. We evaluate MKOR’s performance on the MNIST, CIFAR-100, and ImageNet dataset and compare it with the state-of-the-art works. The results show that MKOR outperforms the existing approaches, and draws attention to a pressing need for further research on the privacy protection of FL so that comprehensive defense approaches can be developed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google