Private Selection with Heterogeneous Sensitivities

要約

差分プライベート (DP) 選択には、有限の候補プールから高スコアの候補を選択することが含まれます。各スコアは機密データセットに依存します。
この問題は、モデルの選択、仮説検証、および多くの DP アルゴリズム内を含むさまざまな状況で自然に発生します。
Report Noisy Max (RNM) などの従来の方法では、すべての候補者のスコアが 1 人の個人のデータの変化に同等に影響されると想定されていますが、多くの場合、そうではありません。
これに対処するために、一般化指数メカニズム (GEM) などのアルゴリズムは、候補者の感度のばらつきを利用します。
ただし、これらのアルゴリズムは、状況によっては RNM よりも優れたパフォーマンスを発揮できる一方で、他の状況ではパフォーマンスが劣る可能性があり、ランダム選択よりもパフォーマンスが悪い可能性さえあることが観察されています。
この研究では、スコアと感度の分布が DP 選択メカニズムにどのような影響を与えるかを調査します。
私たちが研究したすべての設定において、RNM のような標準的なメカニズムを上回る、候補感度の不均一性を利用するメカニズムが存在することがわかりました。
ただし、単一のメカニズムが一律に RNM より優れたパフォーマンスを発揮することはありません。
どの DP 選択メカニズムを使用するかを決定するための基礎として、スコアと感度の間の相関関係を使用することを提案します。
さらに、GEM のわずかな変形である、GEM のパフォーマンスが低い場合でも通常はパフォーマンスが向上する修正 GEM を設計します。
相関ヒューリスティックに基づいて、GEM と修正 GEM の間で適応的に選択し、偏向設定で両方を上回るパフォーマンスを発揮する複合 GEM を提案します。

要約(オリジナル)

Differentially private (DP) selection involves choosing a high-scoring candidate from a finite candidate pool, where each score depends on a sensitive dataset. This problem arises naturally in a variety of contexts including model selection, hypothesis testing, and within many DP algorithms. Classical methods, such as Report Noisy Max (RNM), assume all candidates’ scores are equally sensitive to changes in a single individual’s data, but this often isn’t the case. To address this, algorithms like the Generalised Exponential Mechanism (GEM) leverage variability in candidate sensitivities. However, we observe that while these algorithms can outperform RNM in some situations, they may underperform in others – they can even perform worse than random selection. In this work, we explore how the distribution of scores and sensitivities impacts DP selection mechanisms. In all settings we study, we find that there exists a mechanism that utilises heterogeneity in the candidate sensitivities that outperforms standard mechanisms like RNM. However, no single mechanism uniformly outperforms RNM. We propose using the correlation between the scores and sensitivities as the basis for deciding which DP selection mechanism to use. Further, we design a slight variant of GEM, modified GEM that generally performs well whenever GEM performs poorly. Relying on the correlation heuristic we propose combined GEM, which adaptively chooses between GEM and modified GEM and outperforms both in polarised settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google