Efficient Sparse Least Absolute Deviation Regression with Differential Privacy

要約

近年、プライバシーを保護する機械学習アルゴリズムは、多くの科学分野での重要な応用のため、ますます注目を集めています。
しかし、文献によれば、ほとんどのプライバシー保護アルゴリズムは、学習目標が強く凸でリプシッツ平滑であることを要求しているため、幅広いクラスの堅牢な損失関数 (分位数/最小絶対損失など) をカバーできません。
この研究では、スパースロバスト回帰問題に対する高速プライバシー保護学習ソリューションを開発することを目的としています。
学習損失は、堅牢な最小絶対損失と $\ell_1$ のスパースなペナルティ項で構成されます。
特定のプライバシー予算の下で非スムーズな損失を迅速に解決するために、最小絶対偏差回帰のための高速ロバストかつプライバシー保護推定 (FRAPPE) アルゴリズムを開発します。
私たちのアルゴリズムは、スパース LAD 問題をペナルティ付き最小二乗推定問題として再定式化することで高速推定を実現し、$(\epsilon,\delta)$-差分プライバシーを保証するために 3 段階のノイズ注入を採用しています。
私たちのアルゴリズムは、最先端のプライバシー保護回帰アルゴリズムと比較して、より優れたプライバシーと統計的精度のトレードオフを達成できることを示します。
最後に、提案した FRAPPE アルゴリズムの効率を検証するための実験を行います。

要約(オリジナル)

In recent years, privacy-preserving machine learning algorithms have attracted increasing attention because of their important applications in many scientific fields. However, in the literature, most privacy-preserving algorithms demand learning objectives to be strongly convex and Lipschitz smooth, which thus cannot cover a wide class of robust loss functions (e.g., quantile/least absolute loss). In this work, we aim to develop a fast privacy-preserving learning solution for a sparse robust regression problem. Our learning loss consists of a robust least absolute loss and an $\ell_1$ sparse penalty term. To fast solve the non-smooth loss under a given privacy budget, we develop a Fast Robust And Privacy-Preserving Estimation (FRAPPE) algorithm for least absolute deviation regression. Our algorithm achieves a fast estimation by reformulating the sparse LAD problem as a penalized least square estimation problem and adopts a three-stage noise injection to guarantee the $(\epsilon,\delta)$-differential privacy. We show that our algorithm can achieve better privacy and statistical accuracy trade-off compared with the state-of-the-art privacy-preserving regression algorithms. In the end, we conduct experiments to verify the efficiency of our proposed FRAPPE algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google