Realistic Image-to-Image Machine Unlearning via Decoupling and Knowledge Retention

要約

Machine Inlarningを使用すると、参加者はプライバシーとセキュリティを維持するために、訓練された機械学習モデルからデータを削除できます。
ただし、生成モデルのための文献を解除するマシンはかなり限られています。
画像から画像への生成モデル（I2Iモデル）の文献では、ガウスノイズと、マシンの学習としての忘却サンプルのI2Iモデルの出力との間の距離を最小化することを考慮します。
ただし、機械学習モデルは目に見えないデータでかなりうまく機能すると主張します。つまり、再訓練されたモデルはデータの一般的なパターンをキャッチできるため、ガウスノイズに相当する出力を生成しません。
このホワイトペーパーでは、解き放たれた後のモデルは、忘れサンプルを分散除外（OOD）データとして扱うべきであると考えています。つまり、未学習モデルは、忘れたサンプルで見つかった特定のパターンを認識またはエンコードするべきではないと考えています。
これを達成するために、モデルパラメーターを勾配上昇で切り離すフレームワークを提案し、忘れたサンプルが理論的保証を使用して未学習モデルのOODであることを確認します。
また、$（\ epsilon、\ delta）$を提供します – グラデーション上昇を伴うモデル更新の保証を解除します。
未学習モデルは、パフォーマンスを維持するために、残りのサンプルでさらに微調整されています。
また、未学習モデルが忘却サンプルの影響を効果的に削除したことを確認するために、攻撃モデルを提案します。
2つの大規模なデータセットであるImagenet-1KとPlaces365での広範な経験的評価は、アプローチの優位性を強調しています。
再訓練モデルで同等のパフォーマンスを示すために、CIFAR-10データセットのさまざまなベースライン上の単純な自動エンコーダーの比較も示します。

要約(オリジナル)

Machine Unlearning allows participants to remove their data from a trained machine learning model in order to preserve their privacy, and security. However, the machine unlearning literature for generative models is rather limited. The literature for image-to-image generative model (I2I model) considers minimizing the distance between Gaussian noise and the output of I2I model for forget samples as machine unlearning. However, we argue that the machine learning model performs fairly well on unseen data i.e., a retrained model will be able to catch generic patterns in the data and hence will not generate an output which is equivalent to Gaussian noise. In this paper, we consider that the model after unlearning should treat forget samples as out-of-distribution (OOD) data, i.e., the unlearned model should no longer recognize or encode the specific patterns found in the forget samples. To achieve this, we propose a framework which decouples the model parameters with gradient ascent, ensuring that forget samples are OOD for unlearned model with theoretical guarantee. We also provide $(\epsilon, \delta)$-unlearning guarantee for model updates with gradient ascent. The unlearned model is further fine-tuned on the remaining samples to maintain its performance. We also propose an attack model to ensure that the unlearned model has effectively removed the influence of forget samples. Extensive empirical evaluation on two large-scale datasets, ImageNet-1K and Places365 highlights the superiority of our approach. To show comparable performance with retrained model, we also show the comparison of a simple AutoEncoder on various baselines on CIFAR-10 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google