Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness

要約

境界ドメインを介した隠された状態のノイジーSGDアルゴリズムの差別的なプライバシー（DP）保証を研究します。
Noisy-SGDの標準的なプライバシー分析では、すべての内部状態が明らかになると想定しているため、反復回数に関してバインドされた分岐したR’enyi DPにつながります。
Ye＆Shokri（2022）およびAltschuler＆Talwar（2022）は、滑らかな（強い）凸損失の収束境界を証明し、これらの仮定を緩和できるかどうかについてのオープンな疑問を提起しました。
私たちは、非凸の非滑らかな損失に拘束された収束r’enyi DPを証明することにより、肯定的な答えを提供します。そこでは、h \ ‘より古い連続勾配を持つために損失を必要とすることで十分であることが示されます。
また、スムーズな凸損失の最先端の結果と比較して、厳密に優れたプライバシーバウンドを提供します。
私たちの分析は、フォワードワッサースタインの距離追跡、最適なシフトの割り当ての特定、H’older削減Lemmaなど、複数の側面でのシフトされた発散分析の改善に依存しています。
私たちの結果は、DPの隠れた状態分析とその適用性の利点をさらに解明します。

要約(オリジナル)

We study the Differential Privacy (DP) guarantee of hidden-state Noisy-SGD algorithms over a bounded domain. Standard privacy analysis for Noisy-SGD assumes all internal states are revealed, which leads to a divergent R’enyi DP bound with respect to the number of iterations. Ye & Shokri (2022) and Altschuler & Talwar (2022) proved convergent bounds for smooth (strongly) convex losses, and raise open questions about whether these assumptions can be relaxed. We provide positive answers by proving convergent R’enyi DP bound for non-convex non-smooth losses, where we show that requiring losses to have H\’older continuous gradient is sufficient. We also provide a strictly better privacy bound compared to state-of-the-art results for smooth strongly convex losses. Our analysis relies on the improvement of shifted divergence analysis in multiple aspects, including forward Wasserstein distance tracking, identifying the optimal shifts allocation, and the H’older reduction lemma. Our results further elucidate the benefit of hidden-state analysis for DP and its applicability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google