DPD-fVAE: Synthetic Data Generation Using Federated Variational Autoencoders With Differentially-Private Decoder

要約

フェデレーテッド ラーニング (FL) は、ヘルスケアなどのドメインに共通する機密性の高い分散データセットを処理するために注目を集めています。
これらのデータセットで分類モデルを直接トレーニングする代わりに、最近の研究では、プライバシー制限によって保護されていない新しいデータセットを合成できるトレーニング データ ジェネレーターが検討されています。
したがって、合成データは誰でも利用できるようになり、オフサイトでの機械学習アーキテクチャと研究課題のさらなる評価が可能になります。
プライバシー保護の追加レイヤーとして、差分プライバシーをトレーニング プロセスに導入できます。
後続の機械学習タスクのために、新しいラベル付きデータセットを合成するために、Differentially-Private Decoder を備えたフェデレーション Variational Autoencoder である DPD-fVAE を提案します。
デコーダー コンポーネントのみを FL と同期することで、エポックあたりのプライバシー コストを削減し、より優れたデータ ジェネレーターを有効にすることができます。
MNIST、Fashion-MNIST、および CelebA に関する評価では、DPD-fVAE の利点を示し、Fr\’echet Inception Distance および合成されたデータセットでトレーニングされた分類子の精度の観点から、関連する作業に競合するパフォーマンスを報告します。

要約(オリジナル)

Federated learning (FL) is getting increased attention for processing sensitive, distributed datasets common to domains such as healthcare. Instead of directly training classification models on these datasets, recent works have considered training data generators capable of synthesising a new dataset which is not protected by any privacy restrictions. Thus, the synthetic data can be made available to anyone, which enables further evaluation of machine learning architectures and research questions off-site. As an additional layer of privacy-preservation, differential privacy can be introduced into the training process. We propose DPD-fVAE, a federated Variational Autoencoder with Differentially-Private Decoder, to synthesise a new, labelled dataset for subsequent machine learning tasks. By synchronising only the decoder component with FL, we can reduce the privacy cost per epoch and thus enable better data generators. In our evaluation on MNIST, Fashion-MNIST and CelebA, we show the benefits of DPD-fVAE and report competitive performance to related work in terms of Fr\’echet Inception Distance and accuracy of classifiers trained on the synthesised dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google