Spectral and Temporal Denoising for Differentially Private Optimization

要約

このペーパーでは、FFT強化Kalmanフィルター（FFTKF）を紹介します。これは、DP-SGDのパフォーマンスを維持するという課題に対処する差別的にプライベートな最適化方法であり、通常はモデルの有用性を分解します。
FFTKFは、$（\ varepsilon、\ delta）$ -DP保証を保持しながら、勾配の品質を高めるために、周波数ドメインノイズシェーピングをKalmanフィルタリングと統合します。
フーリエドメインの高周波形状マスクを使用して、低周波勾配信号を保存する、より有益でないスペクトルコンポーネントに差動プライバシーノイズを集中させます。
有限差額のヘシアン近似を備えたスカラーゲインカルマンフィルターは、除去された勾配をさらに改良します。
$ \ mathcal {o}（d \ log d）$の適性ごとの複雑さにより、fftkfは、CNN、幅のレストネット、視力変換を使用して、MNIST、CIFAR-10、CIFAR-100、および小さなイマゲネットデータセット全体でDP-SGDおよびディスクにわたってテスト精度の改善を示しています。
理論分析により、FFTKFは、ノイズの減少と制御バイアスを通じてより厳しいプライバシー性活動のトレードオフを達成しながら、同等のプライバシー保証を維持していることが確認されています。

要約(オリジナル)

This paper introduces the FFT-Enhanced Kalman Filter (FFTKF), a differentially private optimization method that addresses the challenge of preserving performance in DP-SGD, where added noise typically degrades model utility. FFTKF integrates frequency-domain noise shaping with Kalman filtering to enhance gradient quality while preserving $(\varepsilon, \delta)$-DP guarantees. It employs a high-frequency shaping mask in the Fourier domain to concentrate differential privacy noise in less informative spectral components, preserving low-frequency gradient signals. A scalar-gain Kalman filter with finite-difference Hessian approximation further refines the denoised gradients. With a per-iteration complexity of $\mathcal{O}(d \log d)$, FFTKF demonstrates improved test accuracy over DP-SGD and DiSK across MNIST, CIFAR-10, CIFAR-100, and Tiny-ImageNet datasets using CNNs, Wide ResNets, and Vision Transformers. Theoretical analysis confirms that FFTKF maintains equivalent privacy guarantees while achieving a tighter privacy-utility trade-off through reduced noise and controlled bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google