On Function-Coupled Watermarks for Deep Neural Networks

要約

優れたパフォーマンスのディープ ニューラル ネットワーク (DNN) には、通常、大量のラベル付きデータとトレーニング用の計算リソースが必要です。
このような知的財産 (IP) を保護するために、さまざまな透かし技術が提案されています。DNN プロバイダーは、モデルに秘密情報を埋め込んで、専用のトリガー入力で埋め込まれた透かしを取得することで、後で IP の所有権を主張できるようにします。
有望な結果が文献で報告されていますが、既存のソリューションは、モデルの微調整やモデルの刈り込みなどの透かし除去攻撃に悩まされています。
この論文では、上記の攻撃を効果的に防御できる新しい DNN 透かしソリューションを提案します。
私たちの重要な洞察は、透かしを削除すると通常の入力でのモデルのパフォーマンスが必然的に低下するように、透かしとモデルの機能の結合を強化することです。
この目的のために、分布外データから学習した秘密の特徴に依存する以前の方法とは異なり、この方法では分布内データから学習した特徴のみを使用します。
具体的には、一方では、元のトレーニング データセットから入力をサンプリングし、それらをウォーターマーク トリガーとして融合することを提案します。
一方、トレーニング中にモデルの重みをランダムにマスクして、埋め込まれた透かしの情報がネットワークに広がるようにします。
そうすることで、モデルの微調整/プルーニングは、関数結合された透かしを忘れません。
さまざまな画像分類タスクの評価結果は、積極的な透かし除去攻撃の下で 100\% の透かし認証成功率を示しており、既存のソリューションを大幅に上回っています。
コードは https://github.com/cure-lab/Function-Coupled-Watermark から入手できます。

要約(オリジナル)

Well-performed deep neural networks (DNNs) generally require massive labelled data and computational resources for training. Various watermarking techniques are proposed to protect such intellectual properties (IPs), wherein the DNN providers implant secret information into the model so that they can later claim IP ownership by retrieving their embedded watermarks with some dedicated trigger inputs. While promising results are reported in the literature, existing solutions suffer from watermark removal attacks, such as model fine-tuning and model pruning. In this paper, we propose a novel DNN watermarking solution that can effectively defend against the above attacks. Our key insight is to enhance the coupling of the watermark and model functionalities such that removing the watermark would inevitably degrade the model’s performance on normal inputs. To this end, unlike previous methods relying on secret features learnt from out-of-distribution data, our method only uses features learnt from in-distribution data. Specifically, on the one hand, we propose to sample inputs from the original training dataset and fuse them as watermark triggers. On the other hand, we randomly mask model weights during training so that the information of our embedded watermarks spreads in the network. By doing so, model fine-tuning/pruning would not forget our function-coupled watermarks. Evaluation results on various image classification tasks show a 100\% watermark authentication success rate under aggressive watermark removal attacks, significantly outperforming existing solutions. Code is available: https://github.com/cure-lab/Function-Coupled-Watermark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google