On Differentially Private Subspace Estimation Without Distributional Assumptions

要約

プライベート データ分析は、コストの増加につながる、次元の呪いとして知られる重大な課題に直面しています。
ただし、多くのデータセットは固有の低次元構造を持っています。
たとえば、勾配降下による最適化中、勾配は低次元の部分空間の近くに存在することがよくあります。
少量のポイントを使用して低次元構造をプライベートに識別できれば、高い周囲次元に対する (プライバシーと精度の観点からの) 支払いを避けることができます。
マイナス面としては、Dwork、Talwar、Thakurta、および Zhang (STOC 2014) は、一般に部分空間を非公開で推定するには、次元に依存するポイントの量が必要であることを証明しました。
しかし、Singhal と Steinke (NeurIPS 2021) は、i.i.d. の論点を考慮することでこの制限を回避しました。
共分散行列に特定の固有値ギャップがあるガウス分布からのサンプル。
しかし、分布の仮定なしで同様の上限を提供できるかどうか、また同様の固有値ギャップに依存する下限を証明できるかどうかは依然として不明のままでした。
この作業では、両方の方向に進歩します。
入力データの 2 つの異なるタイプの特異値ギャップの下でプライベート部分空間推定の問題を定式化し、両方のタイプの新しい上限と下限を証明します。
特に、我々の結果は、次元に依存しない点の量で部分空間を推定するために、どのタイプのギャップが十分であり、必要であるかを決定します。

要約(オリジナル)

Private data analysis faces a significant challenge known as the curse of dimensionality, leading to increased costs. However, many datasets possess an inherent low-dimensional structure. For instance, during optimization via gradient descent, the gradients frequently reside near a low-dimensional subspace. If the low-dimensional structure could be privately identified using a small amount of points, we could avoid paying (in terms of privacy and accuracy) for the high ambient dimension. On the negative side, Dwork, Talwar, Thakurta, and Zhang (STOC 2014) proved that privately estimating subspaces, in general, requires an amount of points that depends on the dimension. But Singhal and Steinke (NeurIPS 2021) bypassed this limitation by considering points that are i.i.d. samples from a Gaussian distribution whose covariance matrix has a certain eigenvalue gap. Yet, it was still left unclear whether we could provide similar upper bounds without distributional assumptions and whether we could prove lower bounds that depend on similar eigenvalue gaps. In this work, we make progress in both directions. We formulate the problem of private subspace estimation under two different types of singular value gaps of the input data and prove new upper and lower bounds for both types. In particular, our results determine what type of gap is sufficient and necessary for estimating a subspace with an amount of points that is independent of the dimension.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google