Efficient Fine-Tuning with Domain Adaptation for Privacy-Preserving Vision Transformer

要約

私たちは、Vision Transformer (ViT) を使用した、プライバシーを保護するディープ ニューラル ネットワーク (DNN) の新しい方法を提案します。
この方法により、視覚的に保護された画像を使用したモデルのトレーニングとテストが可能になるだけでなく、従来の方法では画像暗号化の影響を避けることができませんでしたが、暗号化された画像の使用によって引き起こされるパフォーマンスの低下を回避することもできます。
暗号化された画像を使用して ViT を効率的に微調整するために、ドメイン適応方法が使用されます。
実験では、この方法は、CIFAR-10 および ImageNet データセットの画像分類タスクにおいて、分類精度の点で従来の方法よりも優れていることが実証されました。

要約(オリジナル)

We propose a novel method for privacy-preserving deep neural networks (DNNs) with the Vision Transformer (ViT). The method allows us not only to train models and test with visually protected images but to also avoid the performance degradation caused from the use of encrypted images, whereas conventional methods cannot avoid the influence of image encryption. A domain adaptation method is used to efficiently fine-tune ViT with encrypted images. In experiments, the method is demonstrated to outperform conventional methods in an image classification task on the CIFAR-10 and ImageNet datasets in terms of classification accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google