Functional Invariants to Watermark Large Transformers

要約

変圧器ベースのモデルの急速な成長により、その完全性と所有権の保険に対する懸念が増大しています。
ウォーターマークは、モデルのパフォーマンスを維持しながら、一意の識別子をモデルに埋め込むことでこの問題に対処します。
ただし、既存のアプローチのほとんどは、透かし信号をインプリントするための重みを最適化する必要があり、計算コストの点で大規模には適していません。
このペーパーでは、実質的に計算コストがかからず、非ブラインド ホワイトボックス設定 (元のネットワークと透かしを入れたネットワークの両方へのアクセスを想定) に適用できる透かしについて検討します。
次元の並べ替えやスケーリング/スケーリング解除などの操作により、モデルの不変性を利用して、機能的に同等のコピーを生成します。
これにより、出力を変更せずにモデルに透かしを入れることが可能になり、ステルス性が保たれます。
実験では、このアプローチの有効性とさまざまなモデル変換 (微調整、量子化、枝刈り) に対する堅牢性が実証されており、大規模モデルの整合性を保護する実用的なソリューションとなっています。

要約(オリジナル)

The rapid growth of transformer-based models increases the concerns about their integrity and ownership insurance. Watermarking addresses this issue by embedding a unique identifier into the model, while preserving its performance. However, most existing approaches require to optimize the weights to imprint the watermark signal, which is not suitable at scale due to the computational cost. This paper explores watermarks with virtually no computational cost, applicable to a non-blind white-box setting (assuming access to both the original and watermarked networks). They generate functionally equivalent copies by leveraging the models’ invariance, via operations like dimension permutations or scaling/unscaling. This enables to watermark models without any change in their outputs and remains stealthy. Experiments demonstrate the effectiveness of the approach and its robustness against various model transformations (fine-tuning, quantization, pruning), making it a practical solution to protect the integrity of large models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google