Gradient Inversion Transcript: Leveraging Robust Generative Priors to Reconstruct Training Data from Gradient Leakage

要約

リークされた勾配からトレーニングデータを再構築するための新しい生成アプローチである勾配反転転写産物（GIT）を提案します。
GITは、理論分析に基づいて、リークされたモデルの構造に合わせてアーキテクチャが調整されている生成攻撃モデルを採用しています。
オフラインで訓練されたら、Gitは効率的に展開でき、入力データを再構築するためにリークされた勾配にのみ依存し、さまざまな分散学習環境で適用可能になります。
他の反復​​最適化ベースの方法の事前として使用すると、GITは収束を加速するだけでなく、全体的な再構成の品質を向上させます。
GITは、複数のデータセットで既存のメソッドを一貫して上回り、モデルパラメーターの不正確な勾配、データ分布シフト、矛盾など、困難な条件下で強い堅牢性を示します。

要約(オリジナル)

We propose Gradient Inversion Transcript (GIT), a novel generative approach for reconstructing training data from leaked gradients. GIT employs a generative attack model, whose architecture is tailored to align with the structure of the leaked model based on theoretical analysis. Once trained offline, GIT can be deployed efficiently and only relies on the leaked gradients to reconstruct the input data, rendering it applicable under various distributed learning environments. When used as a prior for other iterative optimization-based methods, GIT not only accelerates convergence but also enhances the overall reconstruction quality. GIT consistently outperforms existing methods across multiple datasets and demonstrates strong robustness under challenging conditions, including inaccurate gradients, data distribution shifts and discrepancies in model parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google