Reconstructing Training Data from Multiclass Neural Networks

要約

タイトル：多クラスニューラルネットワークからのトレーニングデータの再構築
要約：

– トレーニングセットからサンプルを再構築することは、プライバシー上の大きな懸念事項である。
– Haimら（2022）は、勾配法の暗黙のバイアスに関する理論的結果に基づいて、ニューラルネットワークのバイナリクラシファイアからトレーニングサンプルを再構築できることを最近示した。
– 本研究では、この前回の研究に対していくつかの改善と新たな洞察を提供する。
– 主な改善点として、トレーニングデータの再構築が多クラスの場合にも可能であることを示し、バイナリ分類の場合より再構築品質が高いことを示す。
– また、トレーニング中に重み減衰を使用すると、サンプル再構築の脆弱性が増すことを示す。
– 最後に、前回の研究ではトレーニングセットが最大で10クラスから1000サンプルだったが、本研究では100クラスから5000サンプルにトレーニングされたモデルからの再構築ができる可能性の予備的な証拠を示す。

要約(オリジナル)

Reconstructing samples from the training set of trained neural networks is a major privacy concern. Haim et al. (2022) recently showed that it is possible to reconstruct training samples from neural network binary classifiers, based on theoretical results about the implicit bias of gradient methods. In this work, we present several improvements and new insights over this previous work. As our main improvement, we show that training-data reconstruction is possible in the multi-class setting and that the reconstruction quality is even higher than in the case of binary classification. Moreover, we show that using weight-decay during training increases the vulnerability to sample reconstruction. Finally, while in the previous work the training set was of size at most $1000$ from $10$ classes, we show preliminary evidence of the ability to reconstruct from a model trained on $5000$ samples from $100$ classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI