Robust DNN Watermarking via Fixed Embedding Weights with Optimized Distribution

要約

透かしは、ディープ ニューラル ネットワーク (DNN) の知的財産権 (IPR) を保護し、その使用を追跡する方法として提案されています。
透かしをネットワークのトレーニング可能なパラメーターに埋め込む方法 (ホワイト ボックス透かし)、または特定の入力に対応してネットワークによって実装される入出力マッピング (ブラック ボックス透かし) に埋め込む方法がいくつか提案されています。
どちらの場合も、微調整、モデル圧縮、さらには転移学習に対するロバスト性を達成することは、研究者が直面しようとしている最も困難な課題の 1 つです。
この論文では、転移学習のための再訓練を含む、強力なロバスト特性を備えた新しいホワイトボックス、マルチビット透かしアルゴリズムを提案します。
堅牢性は、透かしメッセージがいくつかの固定された重みに分散され、その位置が秘密鍵に依存するという新しい情報コーディング戦略のおかげで達成されます。
透かしをホストする重みは、トレーニングの前に設定され、トレーニング手順全体を通して変更されません。
メッセージを実行する重みの分布は理論的に最適化され、透かし入りの重みが他の重みと区別できないようにすると同時に、再トレーニングに対する堅牢性を向上させるために振幅をできるだけ大きく保ちます。
ネットワークの精度に実質的に影響を与えずに高いペイロードを提供すると同時に、転送学習の再トレーニングを含むネットワークの変更と再利用に対する優れたロバスト性を維持する、提案されたスキームの機能を実証するいくつかの実験を実行しました。

要約(オリジナル)

Watermarking has been proposed as a way to protect the Intellectual Property Rights (IPR) of Deep Neural Networks (DNNs) and track their use. Several methods have been proposed that embed the watermark into the trainable parameters of the network (white box watermarking) or into the input-output mappping implemented by the network in correspondence to specific inputs (black box watermarking). In both cases, achieving robustness against fine tuning, model compression and, even more, transfer learning, is one of the most difficult challenges researchers are trying to face with. In this paper, we propose a new white-box, multi-bit watermarking algorithm with strong robustness properties, including retraining for transfer learning. Robustness is achieved thanks to a new information coding strategy according to which the watermark message is spread across a number of fixed weights, whose position depends on a secret key. The weights hosting the watermark are set prior to training, and are left unchanged throughout the entire training procedure. The distribution of the weights carrying out the message is theoretically optimised to make sure that the watermarked weights are indistinguishable from the other weights, while at the same time keeping their amplitude as large as possible to improve robustness against retraining. We carried out several experiments demonstrating the capability of the proposed scheme to provide high payloads with practically no impact on the network accuracy, at the same time retaining excellent robustness against network modifications an re-use, including retraining for transfer learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google