Towards the Resistance of Neural Network Watermarking to Fine-tuning

要約

本稿では、ディープニューラルネットワーク(DNN)に所有者情報を埋め込むための、微調整に頑健な新しい電子透かし法を証明する。具体的には、畳み込み層の入力特徴量が低周波成分のみを含む場合、畳み込みフィルタの特定の周波数成分は、微調整プロセス中の勾配降下によって変化しないことを証明する。さらに、これらの周波数成分は、重みのスケーリングと重みの並べ替えに対して等変であることも証明する。このようにして、我々は、畳み込みフィルタの特定の周波数成分に電子透かし情報を符号化する電子透かしモジュールを設計する。予備実験により、本手法の有効性が実証された。

要約(オリジナル)

This paper proves a new watermarking method to embed the ownership information into a deep neural network (DNN), which is robust to fine-tuning. Specifically, we prove that when the input feature of a convolutional layer only contains low-frequency components, specific frequency components of the convolutional filter will not be changed by gradient descent during the fine-tuning process, where we propose a revised Fourier transform to extract frequency components from the convolutional filter. Additionally, we also prove that these frequency components are equivariant to weight scaling and weight permutations. In this way, we design a watermark module to encode the watermark information to specific frequency components in a convolutional filter. Preliminary experiments demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL