The Gaussian Mixing Mechanism: Renyi Differential Privacy via Gaussian Sketches

要約

ランダムガウスマトリックスを使用してデータを事前に統合することで構成されるガウススケッチは、データサイエンスと機械学習の複数の問題に広く使用されている手法であり、アプリケーションは計算効率の良い最適化、コード化されたコンピューティング、およびフェデレートラーニングにまたがっています。
この操作は、その固有のランダム性のために、プライバシー保証の差も提供します。
この作業では、Renyiの差動プライバシー（RDP）のレンズを通じてこの操作を再検討し、以前の結果よりも大幅に狭い境界をもたらす洗練されたプライバシー分析を提供します。
次に、この改善された分析が、さまざまな線形回帰設定のパフォーマンスの向上につながり、理論的ユーティリティ保証を確立する方法を示します。
経験的には、私たちの方法は複数のデータセット間でパフォーマンスを改善し、いくつかのケースではランタイムを短縮します。

要約(オリジナル)

Gaussian sketching, which consists of pre-multiplying the data with a random Gaussian matrix, is a widely used technique for multiple problems in data science and machine learning, with applications spanning computationally efficient optimization, coded computing, and federated learning. This operation also provides differential privacy guarantees due to its inherent randomness. In this work, we revisit this operation through the lens of Renyi Differential Privacy (RDP), providing a refined privacy analysis that yields significantly tighter bounds than prior results. We then demonstrate how this improved analysis leads to performance improvement in different linear regression settings, establishing theoretical utility guarantees. Empirically, our methods improve performance across multiple datasets and, in several cases, reduce runtime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google