High-Dimensional Private Empirical Risk Minimization by Greedy Coordinate Descent

要約

タイトル：貪欲座標降下による高次元プライベート自己リスク最小化
要約：

– この論文では、差分プライバシーを用いた自己リスク最小化に関する研究が行われ、高次元になるほど最悪の効用が多項式的に低下することが示されています。
– 高次元では、モデルのパラメータの中には他のものよりも情報を持っているものがあることが一般的です。これを利用するため、本論文では差分プライバシー貪欲座標降下（DP-GCD）アルゴリズムを提案しています。
– 各反復において、DP-GCDは座標方向の勾配ステップを行い、勾配の（おおよそ）最大値のエントリに沿ってプライベートに動作します。
– DP-GCDが問題の構造的特性（準疎解など）を自然に利用することにより、広範囲の問題において寸法の対数依存を達成できることが理論的に示されています。
– 合成データセットや実データセットで、数値的にこの振る舞いを示します。

要約(オリジナル)

In this paper, we study differentially private empirical risk minimization (DP-ERM). It has been shown that the worst-case utility of DP-ERM reduces polynomially as the dimension increases. This is a major obstacle to privately learning large machine learning models. In high dimension, it is common for some model’s parameters to carry more information than others. To exploit this, we propose a differentially private greedy coordinate descent (DP-GCD) algorithm. At each iteration, DP-GCD privately performs a coordinate-wise gradient step along the gradients’ (approximately) greatest entry. We show theoretically that DP-GCD can achieve a logarithmic dependence on the dimension for a wide range of problems by naturally exploiting their structural properties (such as quasi-sparse solutions). We illustrate this behavior numerically, both on synthetic and real datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI