Kernel Affine Hull Machines for Differentially Private Learning

要約

タイトル：Kernel Affine Hull Machines for Differentially Private Learning
要約：
– この論文は、再生カーネルヒルバート空間（RKHS）における学習において、点のアフィンハルからデータを表現する手段としての利用を探求し、データ空間を個々のデータポイントに関するプライバシーに関する情報を隠蔽しながら、元の学習問題の構造を維持することを目的とする。

– このために、カーネルアフィンハルマシン（KAHM）を導入し、限界のある幾何学的ボディからの距離測定値の効果的な計算方法を提供する。KAHMは、分類アプリケーションのためのデータ表現学習を可能にする、広くて深いオートエンコーダの重要な構成要素である。

– プライバシーを保護するために、異なる方法で平滑化された個別のデータサンプルを用いて、偽のデータを生成することで、私たちは偽のデータを生成する新しい方法を提案する。この生成されたデータは、差分プライバシーだけでなく、KAHMモデル化誤差がオリジナルのトレーニングデータサンプルよりも大きくならないことも保証する。

– 私たちは、偽のデータを使用することで、差分プライバシー分類器で発生する精度損失の問題にも対処する。この方法により、メンバーシップ推論攻撃のリスクを大幅に削減することができ、精度のほんのわずかな損失しか発生しない。

– アプリケーションとして、KAHMベースの差分プライバシー連合学習スキームを紹介し、グローバル分類器の評価に必要なものが、オンプレミスの距離測定値のみであることを特徴とする。私たちの研究結果は、KAHMがプライバシー保持型の学習と分類のために効果的なツールであることを示している。

要約(オリジナル)

This paper explores the use of affine hulls of points as a means of representing data via learning in Reproducing Kernel Hilbert Spaces (RKHS), with the goal of partitioning the data space into geometric bodies that conceal privacy-sensitive information about individual data points, while preserving the structure of the original learning problem. To this end, we introduce the Kernel Affine Hull Machine (KAHM), which provides an effective way of computing a distance measure from the resulting bounded geometric body. KAHM is a critical building block in wide and deep autoencoders, which enable data representation learning for classification applications. To ensure privacy-preserving learning, we propose a novel method for generating fabricated data, which involves smoothing differentially private data samples through a transformation process. The resulting fabricated data guarantees not only differential privacy but also ensures that the KAHM modeling error is not larger than that of the original training data samples. We also address the accuracy-loss issue that arises with differentially private classifiers by using fabricated data. This approach results in a significant reduction in the risk of membership inference attacks while incurring only a marginal loss of accuracy. As an application, a KAHM based differentially private federated learning scheme is introduced featuring that the evaluation of global classifier requires only locally computed distance measures. Overall, our findings demonstrate the potential of KAHM as effective tool for privacy-preserving learning and classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI