Unlocking Accuracy and Fairness in Differentially Private Image Classification

要約

プライバシー保護機械学習は、機密情報を漏らすことなく、プライベート データに基づいてモデルをトレーニングすることを目的としています。
差分プライバシー (DP) は、正式なプライバシー保証を提供するため、プライバシー保護トレーニングのゴールドスタンダード フレームワークとみなされます。
ただし、DP でトレーニングされたモデルは、非プライベートの対応するモデルと比較して、精度が大幅に低下することがよくあります。
プライベート分類器は部分母集団間で大きなパフォーマンス格差を示すとも考えられており、公平性への懸念が生じています。
DP でトレーニングされた分類器のパフォーマンスが低いため、業界におけるプライバシー保護機械学習の広範な導入が妨げられています。
ここでは、DP で微調整された事前トレーニング済みの基礎モデルが、事前トレーニング データと下流タスクの間に大きな分布の変化が存在する場合でも、非プライベート分類器と同様の精度を達成できることを示します。
当社は、2 つの医療画像ベンチマークを含む 4 つのデータセットにわたって、非プライベートな最先端技術の数パーセント以内のプライベート精度を達成しています。
さらに、当社のプライベート医療分類器は、非プライベート モデルに比べて、人口統計グループ間で大きなパフォーマンスの差異を示しません。
DP トレーニングを実用的で信頼できるテクノロジーにするこのマイルストーンは、個人のプライバシーを保護しながら、機械学習の実践者が機密データセットで安全にトレーニングできるようにする可能性を広くもたらします。

要約(オリジナル)

Privacy-preserving machine learning aims to train models on private data without leaking sensitive information. Differential privacy (DP) is considered the gold standard framework for privacy-preserving training, as it provides formal privacy guarantees. However, compared to their non-private counterparts, models trained with DP often have significantly reduced accuracy. Private classifiers are also believed to exhibit larger performance disparities across subpopulations, raising fairness concerns. The poor performance of classifiers trained with DP has prevented the widespread adoption of privacy preserving machine learning in industry. Here we show that pre-trained foundation models fine-tuned with DP can achieve similar accuracy to non-private classifiers, even in the presence of significant distribution shifts between pre-training data and downstream tasks. We achieve private accuracies within a few percent of the non-private state of the art across four datasets, including two medical imaging benchmarks. Furthermore, our private medical classifiers do not exhibit larger performance disparities across demographic groups than non-private models. This milestone to make DP training a practical and reliable technology has the potential to widely enable machine learning practitioners to train safely on sensitive datasets while protecting individuals’ privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google