Private Geometric Median in Nearly-Linear Time

要約

データセットの幾何学的中央値を推定することは、平均推定の堅牢な対応物であり、計算ジオメトリの根本的な問題です。
最近、[hsu24]は$（\ varepsilon、\ delta）$を与えました – 幾何学的な中央値の目的に対する$ \ alpha $ gultiplicative近似を取得する差別的にプライベートアルゴリズム、$ \ frac 1 n \ sum_ {i \ in [n]}
dataset $ \ mathcal {d}：= \ {\ mathbf {x} _i \} _ {i \ in [n]} \ subset \ mathbb {r}^d $。
それらのアルゴリズムには、$ n \ gtrsim \ sqrt d \ cdot \ frac 1 {\ alpha \ varepsilon} $サンプルが必要です。
この結果は、最悪のケース半径ではなく、$ \ mathcal {d} $（すなわち、ほとんどのポイントをキャプチャするボール）の\ emph {有効半径}とのエラーがスケーリングされるため、驚くべきことです。
同じ近似品質を取得する改良されたアルゴリズムを与えます。また、$ n \ gtrsim \ sqrt d \ cdot \ frac 1 {\ alpha \ epsilon} $サンプルを使用しますが、$ \ widetilde {o}（nd + \ frac d {\ alpha^2} $。
ランタイムはほぼ直線的であり、さらに[CLM+16]による最も安価な非プライベート1次方法のコストがかかります。
結果を達成するために、FriendlyCore [TCK+22]に触発されたサブサンプリングと幾何学的集約ツールを使用して、[HSU24]アルゴリズムの「ウォームスタート」コンポーネントをスピードアップし、DP-SGDの幾何学的中央値の感度の慎重なカスタム分析を組み合わせて使用​​します。

要約(オリジナル)

Estimating the geometric median of a dataset is a robust counterpart to mean estimation, and is a fundamental problem in computational geometry. Recently, [HSU24] gave an $(\varepsilon, \delta)$-differentially private algorithm obtaining an $\alpha$-multiplicative approximation to the geometric median objective, $\frac 1 n \sum_{i \in [n]} \|\cdot – \mathbf{x}_i\|$, given a dataset $\mathcal{D} := \{\mathbf{x}_i\}_{i \in [n]} \subset \mathbb{R}^d$. Their algorithm requires $n \gtrsim \sqrt d \cdot \frac 1 {\alpha\varepsilon}$ samples, which they prove is information-theoretically optimal. This result is surprising because its error scales with the \emph{effective radius} of $\mathcal{D}$ (i.e., of a ball capturing most points), rather than the worst-case radius. We give an improved algorithm that obtains the same approximation quality, also using $n \gtrsim \sqrt d \cdot \frac 1 {\alpha\epsilon}$ samples, but in time $\widetilde{O}(nd + \frac d {\alpha^2})$. Our runtime is nearly-linear, plus the cost of the cheapest non-private first-order method due to [CLM+16]. To achieve our results, we use subsampling and geometric aggregation tools inspired by FriendlyCore [TCK+22] to speed up the ‘warm start’ component of the [HSU24] algorithm, combined with a careful custom analysis of DP-SGD’s sensitivity for the geometric median objective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google