Efficient and Near-Optimal Noise Generation for Streaming Differential Privacy

要約

差分プライベート (DP) 継続カウントのタスクでは、一連の増分を受け取ります。私たちの目標は、特定の増分についてあまり明らかにせずに、これらの増分のおおよその累計を出力することです。
その単純さにもかかわらず、差分プライベート継続計数は理論的にも実際的にも大きな注目を集めています。
差分プライベート継続カウントのための既存のアルゴリズムは、スペース使用量の点で非効率であるか、過剰な量のノイズを追加して、次善のユーティリティを引き起こします。
最も実用的な DP 連続計数アルゴリズムでは、注意深く相関したガウス ノイズが値に追加されます。
このノイズの共分散を選択するタスクは、1 の下三角行列 (プレフィックスの合計を計算する) を因数分解するという観点から表現できます。
我々は、DP 連続計数に最適に近い有用性を達成し、対数または多対数空間 (および時間) のみを必要とするこのクラスの 2 つのアプローチを (異なるパラメーター領域に対して) 提案します。
最初のアプローチは、テプリッツ行列のクラスに対するスペース効率の高いストリーミング行列乗算アルゴリズムに基づいています。
DP 連続計数用のこのアルゴリズムをインスタンス化するには、複素平面内の円の平方根を近似する低次の有理関数を見つけるだけで十分であることを示します。
次に、これを達成するために、近似理論のツールを適用および拡張します。
また、任意の数のステップに対して目的関数の効率的な閉形式を導出し、直接的な数値最適化によって問題に対する非常に実用的な解決策が得られることを示します。
2 番目のアプローチは、最初のアプローチとバイナリ ツリー メカニズムに似た再帰的構築を組み合わせたものです。

要約(オリジナル)

In the task of differentially private (DP) continual counting, we receive a stream of increments and our goal is to output an approximate running total of these increments, without revealing too much about any specific increment. Despite its simplicity, differentially private continual counting has attracted significant attention both in theory and in practice. Existing algorithms for differentially private continual counting are either inefficient in terms of their space usage or add an excessive amount of noise, inducing suboptimal utility. The most practical DP continual counting algorithms add carefully correlated Gaussian noise to the values. The task of choosing the covariance for this noise can be expressed in terms of factoring the lower-triangular matrix of ones (which computes prefix sums). We present two approaches from this class (for different parameter regimes) that achieve near-optimal utility for DP continual counting and only require logarithmic or polylogarithmic space (and time). Our first approach is based on a space-efficient streaming matrix multiplication algorithm for a class of Toeplitz matrices. We show that to instantiate this algorithm for DP continual counting, it is sufficient to find a low-degree rational function that approximates the square root on a circle in the complex plane. We then apply and extend tools from approximation theory to achieve this. We also derive efficient closed-forms for the objective function for arbitrarily many steps, and show direct numerical optimization yields a highly practical solution to the problem. Our second approach combines our first approach with a recursive construction similar to the binary tree mechanism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google