Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors

要約

タイトル：Self-Ensemble Protection：トレーニングチェックポイントは、データ保護に役立つ

要約：
– 競合他社が高性能モデルをトレーニングするために、企業がデータを公開するのを非常に注意する必要があるため、データがますます重要になっています。
– データに対して見えない摂動を加えることによって、データでモデルのトレーニングを防止することができます。
– この新しいアイデアに基づいて、トレーニング中に常に認識されない（正しく分類されない）摂動された例を見つける方法を提案します。
– この提案されたself-ensemble protection（SEP）は、（1）通常のトレーニングで無視される例で学習することは、通常の例を無視するDNNを生みやすためであり、（2）チェックポイントのクロスモデル勾配が直交に近く、異なるアーキテクチャーのDNNと同様に多様性があることを意味するため、非常に効果的です。
– 9つのベースライン、3つのデータセット、5つのアーキテクチャの詳細な実験により、SEPは新しい最先端技術であることが確認されました。

要約(オリジナル)

As data becomes increasingly vital, a company would be very cautious about releasing data, because the competitors could use it to train high-performance models, thereby posing a tremendous threat to the company’s commercial competence. To prevent training good models on the data, we could add imperceptible perturbations to it. Since such perturbations aim at hurting the entire training process, they should reflect the vulnerability of DNN training, rather than that of a single model. Based on this new idea, we seek perturbed examples that are always unrecognized (never correctly classified) in training. In this paper, we uncover them by model checkpoints’ gradients, forming the proposed self-ensemble protection (SEP), which is very effective because (1) learning on examples ignored during normal training tends to yield DNNs ignoring normal examples; (2) checkpoints’ cross-model gradients are close to orthogonal, meaning that they are as diverse as DNNs with different architectures. That is, our amazing performance of ensemble only requires the computation of training one model. By extensive experiments with 9 baselines on 3 datasets and 5 architectures, SEP is verified to be a new state-of-the-art, e.g., our small $\ell_\infty=2/255$ perturbations reduce the accuracy of a CIFAR-10 ResNet18 from 94.56% to 14.68%, compared to 41.35% by the best-known method. Code is available at https://github.com/Sizhe-Chen/SEP.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI