Streaming Private Continual Counting via Binning

要約

プライバシーの差では、$ \ textit {継続的観察} $は、一度に1つの要素が明らかにされるデータセットの関数を継続的にリリースする問題を指します。
課題は、すべてのタイムステップにわたって統合された出力を差別的にプライベートに保ちながら、適切な近似を維持することです。
$ \ textit {continual counting} $の特殊な場合、バイナリ入力要素の合計を近似しようとしています。
この問題は最近、差別的に私的な確率的勾配降下の実装に関連しているため、かなりの注目を集めています。
$ \ textit {因子化メカニズム} $は継続的なカウントへの主要なアプローチですが、入力のサイズに比例するスペースが必要なため、$ \ textit {streaming} $設定では、このような最良のメカニズムはうまく機能しません。
このホワイトペーパーでは、$ \ textit {binning} $を介して低空間で因数分解メカニズムを近似する簡単なアプローチを提示します。ここでは、同様の値を持つ隣接するマトリックスエントリが、マトリックスベクトル製品をサブリン空間で維持できるように同一に変更されます。
私たちのアプローチには、エントリが対角線から離れて単調に減少している下部三角形のマトリックスのクラスに対して、証明可能なサブリンスペース保証があります。
スペースの使用が非常に低い場合でも、漸近的に最適な因数分解メカニズムのパフォーマンスを密接に一致させ、時には上回ることができることを経験的に示します。
最近、そして私たちの仕事とは独立して、Dvijotham et al。
また、ストリーミング設定で因数分解メカニズムを実装するアプローチも提案しています。
彼らの仕事はいくつかの点で私たちのものとは異なります：それは$ \ textit {toeplitz} $行列への因数分解のみに対処し、$ \ textit {maximum} $エラーのみを考慮し、私たちのビニングアプローチよりも汎用性の低い合理的な関数近似に基づく異なる手法を使用します。

要約(オリジナル)

In differential privacy, $\textit{continual observation}$ refers to problems in which we wish to continuously release a function of a dataset that is revealed one element at a time. The challenge is to maintain a good approximation while keeping the combined output over all time steps differentially private. In the special case of $\textit{continual counting}$ we seek to approximate a sum of binary input elements. This problem has received considerable attention lately, in part due to its relevance in implementations of differentially private stochastic gradient descent. $\textit{Factorization mechanisms}$ are the leading approach to continual counting, but the best such mechanisms do not work well in $\textit{streaming}$ settings since they require space proportional to the size of the input. In this paper, we present a simple approach to approximating factorization mechanisms in low space via $\textit{binning}$, where adjacent matrix entries with similar values are changed to be identical in such a way that a matrix-vector product can be maintained in sublinear space. Our approach has provable sublinear space guarantees for a class of lower triangular matrices whose entries are monotonically decreasing away from the diagonal. We show empirically that even with very low space usage we are able to closely match, and sometimes surpass, the performance of asymptotically optimal factorization mechanisms. Recently, and independently of our work, Dvijotham et al. have also suggested an approach to implementing factorization mechanisms in a streaming setting. Their work differs from ours in several respects: It only addresses factorization into $\textit{Toeplitz}$ matrices, only considers $\textit{maximum}$ error, and uses a different technique based on rational function approximation that seems less versatile than our binning approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google