Locally Private Sampling with Public Data

要約

ローカル差分プライバシー (LDP) は、信頼できないアグリゲーターと共有する前にユーザー データを保護するプライバシー保護機械学習での採用が増えています。
ほとんどのLDP手法は、ユーザーが単一のデータレコードのみを所有していることを前提としていますが、ユーザーは広範なデータセット（画像、テキスト、時系列データなど）を収集し、公開データセットに頻繁にアクセスすることが多いため、これは重大な制限となります。
この制限に対処するために、各ユーザーのプライベート データセットとパブリック データセットの両方を活用する、ローカルでプライベートなサンプリング フレームワークを提案します。
具体的には、各ユーザーが 2 つのディストリビューション (それぞれプライベート データセットとパブリック データセットを表す $p$ と $q$) を持っていると仮定します。
目的は、$q$ を維持しながら、$p$ に近いプライベート サンプルを生成するメカニズムを設計することです。
この目的を、効用尺度として $f$-divergence を使用するミニマックス最適化問題として組み立てます。
$p$ と $q$ が離散分布である場合、一般的な $f$ 発散に対するミニマックス最適メカニズムを完全に特徴付けます。
注目すべきことに、この最適なメカニズムがすべての $f$ 発散にわたって普遍的であることを実証しました。
実験では、最先端のローカルプライベートサンプラーと比較して、ミニマックス最適サンプラーの有効性を検証します。

要約(オリジナル)

Local differential privacy (LDP) is increasingly employed in privacy-preserving machine learning to protect user data before sharing it with an untrusted aggregator. Most LDP methods assume that users possess only a single data record, which is a significant limitation since users often gather extensive datasets (e.g., images, text, time-series data) and frequently have access to public datasets. To address this limitation, we propose a locally private sampling framework that leverages both the private and public datasets of each user. Specifically, we assume each user has two distributions: $p$ and $q$ that represent their private dataset and the public dataset, respectively. The objective is to design a mechanism that generates a private sample approximating $p$ while simultaneously preserving $q$. We frame this objective as a minimax optimization problem using $f$-divergence as the utility measure. We fully characterize the minimax optimal mechanisms for general $f$-divergences provided that $p$ and $q$ are discrete distributions. Remarkably, we demonstrate that this optimal mechanism is universal across all $f$-divergences. Experiments validate the effectiveness of our minimax optimal sampler compared to the state-of-the-art locally private sampler.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google