Unleash the Power of Ellipsis: Accuracy-enhanced Sparse Vector Technique with Exponential Noise

要約

スパース ベクトル技術 (SVT) は、差分プライバシー (DP) の最も基本的なツールの 1 つです。
特定のデータセットに対する一連のクエリに応答し、プライバシーを保護しながら有用な情報を収集することで、適応型データ分析のバックボーンとして機能します。
ノイズの多いクエリ結果を直接公開する一般的なプライベート クエリのリリースとは異なり、SVT は情報量が少なく、ノイズの多いクエリ結果を内部に保持し、クエリ結果が事前定義されたしきい値を超えているかどうかを示す各クエリのバイナリ ビットのみを明らかにします。
SVT に厳密な DP 保証を提供するために、文献の先行研究では、典型的なプライベート クエリ リリースと同様に、ノイズの多いクエリ結果の直接開示を想定することにより、保守的なプライバシー分析が採用されています。
ただし、このアプローチでは、プライバシー リスクの過大評価により、SVT がより高いクエリ精度を達成することが妨げられ、さらに摂動にラプラシアン ノイズまたはガウス ノイズを使用する過剰なノイズ挿入が発生します。
これを動機として、私たちは SVT の情報量が少ない性質を考慮して、SVT の新しいプライバシー分析を提供します。
私たちの解析結果は、SVT の摂動に適用できるノイズ タイプの範囲を広げるだけでなく、評価されたすべてのノイズの中で指数関数的ノイズが最適であることも特定しました (ただし、これは通常、従来の研究では適用できないと考えられていました)。
指数関数的なノイズを SVT に適用する際の主な課題は、ノイズ分布によってもたらされるバイアスによる次善のパフォーマンスを軽減することです。
これに対処するために、精度と再現率をそれぞれ向上させることで SVT のパフォーマンスを向上させる、ユーティリティ指向の最適なしきい値補正方法と追加戦略を開発します。
私たちが提案した方法の有効性は理論的にも経験的にも実証されており、評価された指標全体で最大 $50\%$ の大幅な改善が実証されています。

要約(オリジナル)

The Sparse Vector Technique (SVT) is one of the most fundamental tools in differential privacy (DP). It works as a backbone for adaptive data analysis by answering a sequence of queries on a given dataset, and gleaning useful information in a privacy-preserving manner. Unlike the typical private query releases that directly publicize the noisy query results, SVT is less informative — it keeps the noisy query results to itself and only reveals a binary bit for each query, indicating whether the query result surpasses a predefined threshold. To provide a rigorous DP guarantee for SVT, prior works in the literature adopt a conservative privacy analysis by assuming the direct disclosure of noisy query results as in typical private query releases. This approach, however, hinders SVT from achieving higher query accuracy due to an overestimation of the privacy risks, which further leads to an excessive noise injection using the Laplacian or Gaussian noise for perturbation. Motivated by this, we provide a new privacy analysis for SVT by considering its less informative nature. Our analysis results not only broaden the range of applicable noise types for perturbation in SVT, but also identify the exponential noise as optimal among all evaluated noises (which, however, is usually deemed non-applicable in prior works). The main challenge in applying exponential noise to SVT is mitigating the sub-optimal performance due to the bias introduced by noise distributions. To address this, we develop a utility-oriented optimal threshold correction method and an appending strategy, which enhances the performance of SVT by increasing the precision and recall, respectively. The effectiveness of our proposed methods is substantiated both theoretically and empirically, demonstrating significant improvements up to $50\%$ across evaluated metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google