Guarantees of confidentiality via Hammersley-Chapman-Robbins bounds

要約

ディープニューラルネットワークを使った推論中のプライバシー保護は、最終的な分類器や他のタスクに特化したレイヤーの前の最後のレイヤーのアクティブにノイズを加えることで可能である。このような層の活性は「特徴」（または、あまり一般的ではないが「埋め込み」または「特徴埋め込み」）として知られている。付加されたノイズは、ノイズの多い特徴からの入力の再構成を防ぐのに役立つ。入力のすべての可能な不偏推定量の分散を下界にすることで、このような付加ノイズから生じる機密性を定量化することができる。Hammersleyの古典的不等式とChapmanとRobbinsの古典的不等式–HCR境界–から、便利で計算しやすい境界が得られる。数値実験によれば、HCR境界は、画像分類のための各10クラスを含む「MNIST」と「CIFAR-10」のデータセットで、小さなニューラルネットに対して有効かどうかの瀬戸際にある。HCR境界は、1000クラスを含むデータセット’ImageNet-1000’で事前に訓練された標準的なディープニューラルネット’ResNet-18’と’Swin-T’の推論への入力の機密性を保証するには、それだけでは不十分であるように見える。ImageNetの場合、特徴量へのノイズの追加を、機密性を提供するための他の方法で補うことが正当化されるかもしれない。すべての場合において、ここで報告された結果は、ノイズのある特徴からの分類の精度にほとんど劣化をもたらさない添加ノイズの量に考察を限定している。このように、ノイズを追加することで、画像分類の精度をそれほど低下させることなく、機密性を高めることができる。

要約(オリジナル)

Protecting privacy during inference with deep neural networks is possible by adding noise to the activations in the last layers prior to the final classifiers or other task-specific layers. The activations in such layers are known as ‘features’ (or, less commonly, as ‘embeddings’ or ‘feature embeddings’). The added noise helps prevent reconstruction of the inputs from the noisy features. Lower bounding the variance of every possible unbiased estimator of the inputs quantifies the confidentiality arising from such added noise. Convenient, computationally tractable bounds are available from classic inequalities of Hammersley and of Chapman and Robbins — the HCR bounds. Numerical experiments indicate that the HCR bounds are on the precipice of being effectual for small neural nets with the data sets, ‘MNIST’ and ‘CIFAR-10,’ which contain 10 classes each for image classification. The HCR bounds appear to be insufficient on their own to guarantee confidentiality of the inputs to inference with standard deep neural nets, ‘ResNet-18’ and ‘Swin-T,’ pre-trained on the data set, ‘ImageNet-1000,’ which contains 1000 classes. Supplementing the addition of noise to features with other methods for providing confidentiality may be warranted in the case of ImageNet. In all cases, the results reported here limit consideration to amounts of added noise that incur little degradation in the accuracy of classification from the noisy features. Thus, the added noise enhances confidentiality without much reduction in the accuracy on the task of image classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL