Insufficient Statistics Perturbation: Stable Estimators for Private Least Squares

要約

我々は、誤差が次元に線形に依存し、$X^\top X$ の条件数に依存しない、通常の最小二乗法に対するサンプル効率と時間効率の高い微分プライベート アルゴリズムを提示します ($X$ は計画行列です)。
このタスクの以前のプライベート アルゴリズムはすべて、$d^{3/2}$ の例、条件数に応じて多項式に増加する誤差、または指数関数的な時間のいずれかを必要とします。
最適に近い精度の保証は、統計的レバレッジが制限され、残差が制限されているあらゆるデータセットに適用されます。
技術的には、Brown らのアプローチに基づいて構築されています。
(2023) プライベート平均推定では、経験的回帰ベクトルの慎重に設計された安定した非プライベート推定量にスケーリングされたノイズを追加します。

要約(オリジナル)

We present a sample- and time-efficient differentially private algorithm for ordinary least squares, with error that depends linearly on the dimension and is independent of the condition number of $X^\top X$, where $X$ is the design matrix. All prior private algorithms for this task require either $d^{3/2}$ examples, error growing polynomially with the condition number, or exponential time. Our near-optimal accuracy guarantee holds for any dataset with bounded statistical leverage and bounded residuals. Technically, we build on the approach of Brown et al. (2023) for private mean estimation, adding scaled noise to a carefully designed stable nonprivate estimator of the empirical regression vector.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google