Efficient and Near-Optimal Noise Generation for Streaming Differential Privacy

要約

差分非公開(DP)継続計数のタスクでは、インクリメントのストリームを受け取り、我々のゴールは、特定のインクリメントについてあまり多くを明らかにすることなく、これらのインクリメントのおおよその実行合計を出力することである。その単純さにもかかわらず、差分非公開継続計数は、理論と実践の両方で大きな注目を集めている。差分的私的継続計数のための既存のアルゴリズムは、その空間使用量の点で非効率的であるか、または過剰な量のノイズを追加し、最適でない効用を引き起こすかのいずれかである。 最も実用的なDP連続計数アルゴリズムは、値に注意深く相関したガウスノイズを加える。このノイズの共分散を選択するタスクは、1の下三角行列の因数分解（これは前置和を計算する）で表すことができる。我々は、DP連続計数に対してほぼ最適な効用を達成し、対数または多対数の空間（と時間）しか必要としない、このクラスからの2つのアプローチ（異なるパラメータ領域に対して）を紹介する。 我々の最初のアプローチは、トープリッツ行列のクラスに対する空間効率の良いストリーミング行列乗算アルゴリズムに基づいている。このアルゴリズムをDP連続計数用にインスタンス化するには、複素平面上の円上の平方根を近似する低次有理関数を求めれば十分であることを示す。そして、これを実現するために近似理論のツールを適用し拡張する。また、任意に多くのステップに対する目的関数の効率的な閉形式を導出し、直接数値最適化により、この問題に対する非常に実用的な解が得られることを示す。我々の第二のアプローチは、我々の第一のアプローチと、バイナリーツリー機構に類似した再帰的構造を組み合わせたものである。

要約(オリジナル)

In the task of differentially private (DP) continual counting, we receive a stream of increments and our goal is to output an approximate running total of these increments, without revealing too much about any specific increment. Despite its simplicity, differentially private continual counting has attracted significant attention both in theory and in practice. Existing algorithms for differentially private continual counting are either inefficient in terms of their space usage or add an excessive amount of noise, inducing suboptimal utility. The most practical DP continual counting algorithms add carefully correlated Gaussian noise to the values. The task of choosing the covariance for this noise can be expressed in terms of factoring the lower-triangular matrix of ones (which computes prefix sums). We present two approaches from this class (for different parameter regimes) that achieve near-optimal utility for DP continual counting and only require logarithmic or polylogarithmic space (and time). Our first approach is based on a space-efficient streaming matrix multiplication algorithm for a class of Toeplitz matrices. We show that to instantiate this algorithm for DP continual counting, it is sufficient to find a low-degree rational function that approximates the square root on a circle in the complex plane. We then apply and extend tools from approximation theory to achieve this. We also derive efficient closed-forms for the objective function for arbitrarily many steps, and show direct numerical optimization yields a highly practical solution to the problem. Our second approach combines our first approach with a recursive construction similar to the binary tree mechanism.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL