Self-Supervised Pretraining for Differentially Private Learning

要約

我々は、自己教師付き事前訓練（SSP）が、画像分類において利用可能な公開データセットのサイズに関係なく、差分プライバシー（DP）を持つ深層学習のスケーラブルなソリューションであることを実証する。公開データセットの不足に直面した場合、たった1つの画像に対してSSPによって生成された特徴により、同じプライバシーバジェット下で、学習されていない手作りの特徴よりもはるかに優れた効用をプライベート分類器が得ることができることを示す。中・大規模の公開データセットが利用可能な場合、SSPによって生成された特徴は、同じプライバシー予算で、様々な複雑なプライベートデータセット上のラベルを用いて学習した特徴を大きく上回る。また、SSPによって生成された特徴量に対して私的分類器を学習させるために、DPを有効にした複数の学習フレームワークを比較した。最後に、ImageNet-1Kのプライベートデータセットで$epsilon=3$のとき、non-trivial utility 25.3%という結果を報告しました。ソースコードは以下のURLからダウンロードできます。

要約(オリジナル)

We demonstrate self-supervised pretraining (SSP) is a scalable solution to deep learning with differential privacy (DP) regardless of the size of available public datasets in image classification. When facing the lack of public datasets, we show the features generated by SSP on only one single image enable a private classifier to obtain much better utility than the non-learned handcrafted features under the same privacy budget. When a moderate or large size public dataset is available, the features produced by SSP greatly outperform the features trained with labels on various complex private datasets under the same private budget. We also compared multiple DP-enabled training frameworks to train a private classifier on the features generated by SSP. Finally, we report a non-trivial utility 25.3\% of a private ImageNet-1K dataset when $\epsilon=3$. Our source code can be found at \url{https://github.com/UnchartedRLab/SSP}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL