Algorithms for bounding contribution for histogram estimation under user-level privacy

要約

私たちは、ユーザーレベルの差分プライバシーの下でのヒストグラム推定の問題を研究します。目標は、単一ユーザーのすべてのエントリのプライバシーを保護することです。
データ量がユーザーごとに異なる可能性がある異種シナリオを検討します。
このシナリオでは、差分プライバシーを取得するためにヒストグラムに注入されるノイズの量は、ユーザー寄与の最大値に比例し、少数の外れ値によって増幅される可能性があります。
これを回避する 1 つのアプローチは、ヒストグラムに対する各ユーザーの寄与を制限する (または制限する) ことです。
ただし、ユーザーの寄付が少額に制限されている場合、かなりの量のデータが破棄されることになります。
この研究では、有界および無界の両方のドメイン設定の下で、ヒストグラム推定に最適なユーザー貢献限界を選択するアルゴリズムを提案します。
ドメインのサイズが制限されている場合、後から考えると最適な貢献限界に関してほぼ 2 近似を達成するユーザー貢献限界戦略を提案します。
無制限のドメイン ヒストグラム推定については、後から考えた最良の寄与限界に関して対数近似するアルゴリズムを提案します。
この結果は、データに関する分布の仮定がなくても当てはまります。
実際のデータセットと合成データセットの両方での実験により、理論的な発見が検証され、アルゴリズムの有効性が実証されます。
また、ユーザーの貢献を制限することによってもたらされるクリッピング バイアスが、独立して興味深い可能性がある穏やかな分布仮定の下で軽減される可能性があることも示します。

要約(オリジナル)

We study the problem of histogram estimation under user-level differential privacy, where the goal is to preserve the privacy of all entries of any single user. We consider the heterogeneous scenario where the quantity of data can be different for each user. In this scenario, the amount of noise injected into the histogram to obtain differential privacy is proportional to the maximum user contribution, which can be amplified by few outliers. One approach to circumvent this would be to bound (or limit) the contribution of each user to the histogram. However, if users are limited to small contributions, a significant amount of data will be discarded. In this work, we propose algorithms to choose the best user contribution bound for histogram estimation under both bounded and unbounded domain settings. When the size of the domain is bounded, we propose a user contribution bounding strategy that almost achieves a two-approximation with respect to the best contribution bound in hindsight. For unbounded domain histogram estimation, we propose an algorithm that is logarithmic-approximation with respect to the best contribution bound in hindsight. This result holds without any distribution assumptions on the data. Experiments on both real and synthetic datasets verify our theoretical findings and demonstrate the effectiveness of our algorithms. We also show that clipping bias introduced by bounding user contribution may be reduced under mild distribution assumptions, which can be of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google