Equivariant Differentially Private Deep Learning

要約

差分プライバシー (DP) によって提供される正式なプライバシー保証は、ディープ ラーニング モデルからの機密情報の漏洩を制限します。
ただし、実際には、これには深刻な計算と精度のコストがかかります。
最近確立された最先端技術 (SOTA) による DP での画像分類の結果は、大量のデータ拡張と大きなバッチ サイズの使用によるものであり、計算オーバーヘッドが大幅に増加しています。
この作業では、DP トレーニングに操縦可能な等変畳み込みネットワークを導入することにより、機能品質が向上したより効率的なモデルを使用することを提案します。
私たちのモデルは、異なる $\varepsilon$ 値で CIFAR-10 の現在の SOTA パフォーマンスを最大 $9\%$ 上回ることができることを実証し、モデル パラメーターの数を $35$ 削減し、計算時間を短縮します。
$90 \%$ 以上の差があります。
私たちの結果は、パラメーターを最適に使用し、コンピューター ビジョンのプライベート ディープ ラーニングと非プライベート ディープ ラーニングの間のプライバシーとユーティリティのギャップを埋める、効率的なモデル アーキテクチャに向けた大きな一歩です。

要約(オリジナル)

The formal privacy guarantee provided by Differential Privacy (DP) bounds the leakage of sensitive information from deep learning models. In practice, however, this comes at a severe computation and accuracy cost. The recently established state of the art (SOTA) results in image classification under DP are due to the use of heavy data augmentation and large batch sizes, leading to a drastically increased computation overhead. In this work, we propose to use more efficient models with improved feature quality by introducing steerable equivariant convolutional networks for DP training. We demonstrate that our models are able to outperform the current SOTA performance on CIFAR-10 by up to $9\%$ across different $\varepsilon$-values while reducing the number of model parameters by a factor of $35$ and decreasing the computation time by more than $90 \%$. Our results are a large step towards efficient model architectures that make optimal use of their parameters and bridge the privacy-utility gap between private and non-private deep learning for computer vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google