Training Data Reconstruction: Privacy due to Uncertainty?

要約

ニューラル ネットワークのパラメーターからトレーニング データを再構築できることは、プライバシーに関する大きな懸念事項です。
これまでの研究では、特定の状況下ではトレーニング データの再構築が可能であることが示されています。
この研究では、そのような再構成を経験的に分析し、バイレベル最適化問題の解決策として再構成の新しい定式化を提案します。
私たちの定式化と以前のアプローチは、再構築するトレーニング画像 $x$ の初期化に大きく依存していることを示します。
特に、$x$ をランダムに初期化すると、実際のトレーニング データセットの一部ではないものの、有効なトレーニング サンプルに似た再構築が行われる可能性があることを示します。
したがって、アフィンおよび 1 隠れ層ネットワークに関する私たちの実験は、自然画像を再構成するときに、攻撃者は再構成された画像が実際にトレーニング サンプルのセットの一部であるかどうかを識別できないことを示唆しています。

要約(オリジナル)

Being able to reconstruct training data from the parameters of a neural network is a major privacy concern. Previous works have shown that reconstructing training data, under certain circumstances, is possible. In this work, we analyse such reconstructions empirically and propose a new formulation of the reconstruction as a solution to a bilevel optimisation problem. We demonstrate that our formulation as well as previous approaches highly depend on the initialisation of the training images $x$ to reconstruct. In particular, we show that a random initialisation of $x$ can lead to reconstructions that resemble valid training samples while not being part of the actual training dataset. Thus, our experiments on affine and one-hidden layer networks suggest that when reconstructing natural images, yet an adversary cannot identify whether reconstructed images have indeed been part of the set of training samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google