Towards Eliminating Hard Label Constraints in Gradient Inversion Attacks

要約

勾配反転攻撃は、連合学習フレームワークで公開された中間勾配から局所的な学習データを再構成することを目的としている。攻撃は成功しているにもかかわらず、単一データ点の再構築から始まり、単一画像制限をバッチレベルまで緩和するこれまでの手法はすべて、ハードラベル制約下でしかテストされていない。単一画像再構成の場合でも、拡張されたソフトラベルを回復するための解析ベースのアルゴリズムがまだ欠如している。本研究では、バッチサイズの拡大からハードラベル制約の検討に焦点を変更し、ラベル平滑化と混合技術が学習プロセスで使用される、より現実的な状況を考慮する。特に、我々は、単一入力勾配から、真実の拡張ラベルと最後の完全連結層の入力特徴量を同時に復元する新しいアルゴリズムを初めて開発し、分析に基づくラベル復元手法の必要条件を提供する。広範な実験により、ラベルの復元精度と、次の画像再構成の利点が証明されている。我々は、分類タスクにおけるソフトラベルは、勾配反転攻撃においてさらに注目される価値があると考えている。

要約(オリジナル)

Gradient inversion attacks aim to reconstruct local training data from intermediate gradients exposed in the federated learning framework. Despite successful attacks, all previous methods, starting from reconstructing a single data point and then relaxing the single-image limit to batch level, are only tested under hard label constraints. Even for single-image reconstruction, we still lack an analysis-based algorithm to recover augmented soft labels. In this work, we change the focus from enlarging batchsize to investigating the hard label constraints, considering a more realistic circumstance where label smoothing and mixup techniques are used in the training process. In particular, we are the first to initiate a novel algorithm to simultaneously recover the ground-truth augmented label and the input feature of the last fully-connected layer from single-input gradients, and provide a necessary condition for any analytical-based label recovery methods. Extensive experiments testify to the label recovery accuracy, as well as the benefits to the following image reconstruction. We believe soft labels in classification tasks are worth further attention in gradient inversion attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL