Temporal Gradient Inversion Attacks with Robust Optimization

要約

Federated Learning (FL) は、プライベート データを共有せずに協調的にモデルをトレーニングするための有望なアプローチとして浮上しています。
ただし、FL 中に交換される情報に関するプライバシーの懸念は、研究で大きな注目を集めています。
勾配反転攻撃 (GIA) は、交換された勾配からローカル クライアントが保持するプライベート データを再構築するために提案されています。
プライベート データを回復する際、データの次元とモデルの複雑さが増加するため、GIA によるデータの再構築が妨げられます。
既存の方法では、プライベート データに関する事前知識を採用して、これらの課題を克服しています。
この論文では、漏れた勾配の次元が不十分であること、複雑なモデル アーキテクチャ、および無効な勾配情報が原因で、単一の反復による勾配を含む GIA がプライベート データを再構築できないことを最初に観察しました。
私たちは、TGIAS-RO と呼ばれるロバスト最適化フレームワークを使用した時間勾配反転攻撃を調査します。この攻撃は、複数の時間勾配を利用することで、事前知識なしにプライベート データを回復します。
外れ値の悪影響（協調最適化の無効な勾配など）を排除するために、ロバストな統計が提案されています。
無効な勾配に対する TGIA-RO の回復パフォーマンスと堅牢性についての理論的な保証も提供されます。
MNIST、CIFAR10、ImageNet、および Reuters 21578 データセットに関する広範な実証結果は、10 の時間勾配を備えた提案された TGIA-RO が、大規模なバッチ サイズ (最大 128)、複雑なバッチ サイズであっても、最先端の方法と比較して再構成パフォーマンスを向上させることを示しています。
ResNet18 などのモデルや、ImageNet (224*224 ピクセル) などの大規模なデータセット。
さらに、提案された攻撃方法は、FL のコンテキストにおけるプライバシー保護方法のさらなる探求を刺激します。

要約(オリジナル)

Federated Learning (FL) has emerged as a promising approach for collaborative model training without sharing private data. However, privacy concerns regarding information exchanged during FL have received significant research attention. Gradient Inversion Attacks (GIAs) have been proposed to reconstruct the private data retained by local clients from the exchanged gradients. While recovering private data, the data dimensions and the model complexity increase, which thwart data reconstruction by GIAs. Existing methods adopt prior knowledge about private data to overcome those challenges. In this paper, we first observe that GIAs with gradients from a single iteration fail to reconstruct private data due to insufficient dimensions of leaked gradients, complex model architectures, and invalid gradient information. We investigate a Temporal Gradient Inversion Attack with a Robust Optimization framework, called TGIAs-RO, which recovers private data without any prior knowledge by leveraging multiple temporal gradients. To eliminate the negative impacts of outliers, e.g., invalid gradients for collaborative optimization, robust statistics are proposed. Theoretical guarantees on the recovery performance and robustness of TGIAs-RO against invalid gradients are also provided. Extensive empirical results on MNIST, CIFAR10, ImageNet and Reuters 21578 datasets show that the proposed TGIAs-RO with 10 temporal gradients improves reconstruction performance compared to state-of-the-art methods, even for large batch sizes (up to 128), complex models like ResNet18, and large datasets like ImageNet (224*224 pixels). Furthermore, the proposed attack method inspires further exploration of privacy-preserving methods in the context of FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google