S-BDT: Distributed Differentially Private Boosted Decision Trees

要約

S-BDT を紹介します。これは、精度などの意味のある学習目標を達成しながら、単一のトレーニング データ ポイントの保護 (プライバシー) を向上させる、新しい $(\varepsilon,\delta)$-差分プライベート分散勾配ブースト決定木 (GBDT) 学習器です。
または回帰エラー (ユーティリティ)。
S-BDT は、非球面多変量ガウス ノイズに依存することで使用するノイズを減らします。これに対して、プライバシー増幅のための厳密なサブサンプリング境界を示し、それを個別のプライバシー アカウンティングのための R\’enyi フィルターに組み込みます。
実験的には、Abalone 回帰データセット (データセット サイズ $\約 4K$) で $\varepsilon \le 0.5$ のイプシロンに関して $50\%$ を節約し、$ のイプシロンに関して $30\%$ を節約しながら、同じユーティリティに達しました。
アダルト分類データセット (データセット サイズ $\約 50K$) の場合は \varepsilon \le 0.08$、Spambase 分類データセット (データセット サイズ $\) の $\varepsilon\leq0.03$ はイプシロン換算で $30\%$ 節約されます。
約5Kドル）。
さらに、GBDT が異なる部分母集団 (非 IID) に由来するデータ ストリームを学習している状況では、S-BDT がイプシロンの節約をさらに改善することを示します。

要約(オリジナル)

We introduce S-BDT: a novel $(\varepsilon,\delta)$-differentially private distributed gradient boosted decision tree (GBDT) learner that improves the protection of single training data points (privacy) while achieving meaningful learning goals, such as accuracy or regression error (utility). S-BDT uses less noise by relying on non-spherical multivariate Gaussian noise, for which we show tight subsampling bounds for privacy amplification and incorporate that into a R\’enyi filter for individual privacy accounting. We experimentally reach the same utility while saving $50\%$ in terms of epsilon for $\varepsilon \le 0.5$ on the Abalone regression dataset (dataset size $\approx 4K$), saving $30\%$ in terms of epsilon for $\varepsilon \le 0.08$ for the Adult classification dataset (dataset size $\approx 50K$), and saving $30\%$ in terms of epsilon for $\varepsilon\leq0.03$ for the Spambase classification dataset (dataset size $\approx 5K$). Moreover, we show that for situations where a GBDT is learning a stream of data that originates from different subpopulations (non-IID), S-BDT improves the saving of epsilon even further.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google