SPEAR:Exact Gradient Inversion of Batches in Federated Learning

要約

フェデレーテッド ラーニングは、複数のクライアントがローカル データの勾配更新のみをサーバーと共有し、実際のデータは共有しない、協調的な機械学習の一般的なフレームワークです。
残念なことに、勾配反転攻撃により、これらの共有勾配からこのデータが再構築される可能性があることが最近判明しました。
既存の攻撃では、重要な正直だが好奇心旺盛な設定における $b=1$ のバッチ サイズに対してのみ正確な再構築が可能であり、より大きなバッチでは近似的な再構築のみが可能です。
この研究では、 \emph{$b >1$ のバッチ全体を正確に再構成する最初のアルゴリズム} を提案します。
このアプローチは、勾配の明示的な低ランク構造への数学的洞察と、サンプリングベースのアルゴリズムを組み合わせたものです。
重要なのは、ReLU による勾配スパース性を活用して、多数の不正確なサンプルを正確にフィルタリングして除去し、最終的な再構成ステップを扱いやすくすることです。
完全に接続されたネットワーク向けに効率的な GPU 実装を提供し、それが $b \lesssim 25$ 要素のバッチを正確に回復しながら、大きなネットワーク幅と深さでも扱いやすいことを示します。

要約(オリジナル)

Federated learning is a popular framework for collaborative machine learning where multiple clients only share gradient updates on their local data with the server and not the actual data. Unfortunately, it was recently shown that gradient inversion attacks can reconstruct this data from these shared gradients. Existing attacks enable exact reconstruction only for a batch size of $b=1$ in the important honest-but-curious setting, with larger batches permitting only approximate reconstruction. In this work, we propose \emph{the first algorithm reconstructing whole batches with $b >1$ exactly}. This approach combines mathematical insights into the explicit low-rank structure of gradients with a sampling-based algorithm. Crucially, we leverage ReLU-induced gradient sparsity to precisely filter out large numbers of incorrect samples, making a final reconstruction step tractable. We provide an efficient GPU implementation for fully connected networks and show that it recovers batches of $b \lesssim 25$ elements exactly while being tractable for large network widths and depths.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google