Equivariant Differentially Private Deep Learning: Why DP-SGD Needs Sparser Models

要約

差分プライベート確率的勾配降下法 (DP-SGD) は、深層学習モデルがトレーニング中に記憶できるプライベート情報の量を制限します。
これは、モデルの勾配にノイズをクリッピングして追加することによって実現されるため、より多くのパラメータを持つネットワークには、それに比例してより強力な摂動が必要になります。
その結果、大規模なモデルでは有用な情報を学習することが困難になり、より困難なトレーニング タスクでは DP-SGD を使用したトレーニングが非常に困難になります。
最近の研究は、大量のデータの増強や大きなバッチサイズなどのトレーニングの適応を通じて、この課題に対処することに焦点を当てています。
ただし、これらの手法は DP-SGD の計算オーバーヘッドをさらに増加させ、実際の適用性を低下させます。
この研究では、スパース モデル設計の原理を使用して、より少ないパラメータ、より高い精度、より短い時間でこのような複雑なタスクを正確に解決することを提案します。これは、DP-SGD の有望な方向性として機能します。
私たちは、差分プライバシーを使用したモデル トレーニングに等変畳み込みネットワークを導入することで、設計によりこのようなスパース性を実現します。
等変ネットワークを使用して、小規模で効率的なアーキテクチャ設計が、大幅に低い計算要件で現在の最先端のモデルを上回るパフォーマンスを発揮できることを示します。
CIFAR-10 では、計算時間を $85\%$ 以上削減しながら、精度が最大 $9\%$ 向上しました。
私たちの結果は、パラメーターを最適に利用し、コンピューター ビジョンのプライベート深層学習と非プライベート深層学習の間のプライバシーとユーティリティのギャップを埋める効率的なモデル アーキテクチャに向けた一歩となります。

要約(オリジナル)

Differentially Private Stochastic Gradient Descent (DP-SGD) limits the amount of private information deep learning models can memorize during training. This is achieved by clipping and adding noise to the model’s gradients, and thus networks with more parameters require proportionally stronger perturbation. As a result, large models have difficulties learning useful information, rendering training with DP-SGD exceedingly difficult on more challenging training tasks. Recent research has focused on combating this challenge through training adaptations such as heavy data augmentation and large batch sizes. However, these techniques further increase the computational overhead of DP-SGD and reduce its practical applicability. In this work, we propose using the principle of sparse model design to solve precisely such complex tasks with fewer parameters, higher accuracy, and in less time, thus serving as a promising direction for DP-SGD. We achieve such sparsity by design by introducing equivariant convolutional networks for model training with Differential Privacy. Using equivariant networks, we show that small and efficient architecture design can outperform current state-of-the-art models with substantially lower computational requirements. On CIFAR-10, we achieve an increase of up to $9\%$ in accuracy while reducing the computation time by more than $85\%$. Our results are a step towards efficient model architectures that make optimal use of their parameters and bridge the privacy-utility gap between private and non-private deep learning for computer vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google