Differentially-Private Decision Trees with Probabilistic Robustness to Data Poisoning

要約

デシジョン ツリーは、非線形学習問題に適した解釈可能なモデルです。
ディシジョン ツリー学習アルゴリズムを差分プライバシー (トレーニング データ内のサンプルのプライバシーを保証するシステム) で拡張するために多くの研究が行われてきました。
ただし、この目的のための現在の最先端のアルゴリズムは、わずかなプライバシー上の利益のために多くの実用性を犠牲にしています。
これらのソリューションは、デシジョン ツリーの精度を低下させるランダムなデシジョン ノードを作成したり、リーフのラベル付けにプライバシー予算の過剰な割合を費やしたりします。
また、データが連続している場合、特徴量に関する情報がサポートされていない、または情報が漏洩している作品も多くあります。
私たちは、少ないプライバシー予算を消費しながら適切な分割を選択する、プライベート ヒストグラムに基づく PrivaTree と呼ばれる新しい方法を提案します。
結果として得られるツリーは、プライバシーとユーティリティのトレードオフが大幅に向上し、追加情報を漏らすことなく数値データとカテゴリデータの混合を受け入れます。
最後に、データポイズニング攻撃に対する堅牢性を保証することが難しいことで知られていますが、差分プライベート学習者に対するバックドア攻撃の予想成功率の限界を証明しました。
私たちの実験結果は、PrivaTree が予測精度において一貫して以前の研究を上回り、通常のデシジョン ツリーと比較してバックドア攻撃に対する堅牢性が大幅に向上していることを示しています。

要約(オリジナル)

Decision trees are interpretable models that are well-suited to non-linear learning problems. Much work has been done on extending decision tree learning algorithms with differential privacy, a system that guarantees the privacy of samples within the training data. However, current state-of-the-art algorithms for this purpose sacrifice much utility for a small privacy benefit. These solutions create random decision nodes that reduce decision tree accuracy or spend an excessive share of the privacy budget on labeling leaves. Moreover, many works do not support or leak information about feature values when data is continuous. We propose a new method called PrivaTree based on private histograms that chooses good splits while consuming a small privacy budget. The resulting trees provide a significantly better privacy-utility trade-off and accept mixed numerical and categorical data without leaking additional information. Finally, while it is notoriously hard to give robustness guarantees against data poisoning attacks, we prove bounds for the expected success rates of backdoor attacks against differentially-private learners. Our experimental results show that PrivaTree consistently outperforms previous works on predictive accuracy and significantly improves robustness against backdoor attacks compared to regular decision trees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google