On Mitigating the Utility-Loss in Differentially Private Learning: A new Perspective by a Geometrically Inspired Kernel Approach

要約

プライバシーとユーティリティのトレードオフは、差分プライベート機械学習の基本的な問題の 1 つとして残っています。
このペーパーでは、分類における精度損失の問題を軽減するために、幾何学的にヒントを得たカーネルベースのアプローチを紹介します。
このアプローチでは、特定のデータ ポイントのアフィン ハルの表現がカーネル ヒルベルト空間の再現 (RKHS) で学習されます。
これにより、個々のデータ ポイントに関するプライバシーに敏感な情報が隠蔽され、メンバーシップ推論攻撃のリスクが大幅に軽減されることでプライバシーとユーティリティのトレードオフが改善される、新しい距離測定が実現します。
このアプローチの有効性は、MNIST データセット、フライブルク食料品データセット、実際の生物医学データセットでの実験を通じて実証されています。
このアプローチが依然として計算的に実用的であることが検証されています。
このアプローチのフェデレーテッド ラーニングへの適用が検討されており、分散されるデータによる精度損失はわずかであるか、それほど高くないことが観察されます。

要約(オリジナル)

Privacy-utility tradeoff remains as one of the fundamental issues of differentially private machine learning. This paper introduces a geometrically inspired kernel-based approach to mitigate the accuracy-loss issue in classification. In this approach, a representation of the affine hull of given data points is learned in Reproducing Kernel Hilbert Spaces (RKHS). This leads to a novel distance measure that hides privacy-sensitive information about individual data points and improves the privacy-utility tradeoff via significantly reducing the risk of membership inference attacks. The effectiveness of the approach is demonstrated through experiments on MNIST dataset, Freiburg groceries dataset, and a real biomedical dataset. It is verified that the approach remains computationally practical. The application of the approach to federated learning is considered and it is observed that the accuracy-loss due to data being distributed is either marginal or not significantly high.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google