Gradient Surgery for One-shot Unlearning on Generative Model

要約

忘れられる権利に関する最近の規制により、事前トレーニングされた機械学習モデルの学習を解除することに多くの関心が集まっています。
最近の機械学習解除手法は、スクラッチから再学習する単純だが高価なアプローチに近似していますが、重みパラメータへの影響を取り除くために重みを更新することでサンプルを学習解除します。
このペーパーでは、深い生成モデルに対するデータの影響を除去するための、シンプルかつ効果的なアプローチを紹介します。
マルチタスク学習の研究に触発されて、保持される勾配の法線平面に勾配を投影することにより、勾配を操作してサンプル間の影響の相互作用を規則化することを提案します。
私たちの研究は除去サンプルの統計にとらわれず、既存のベースラインを上回るパフォーマンスを示しながら、生成モデルの学習を解除する初めての理論的分析を提供します。

要約(オリジナル)

Recent regulation on right-to-be-forgotten emerges tons of interest in unlearning pre-trained machine learning models. While approximating a straightforward yet expensive approach of retrain-from-scratch, recent machine unlearning methods unlearn a sample by updating weights to remove its influence on the weight parameters. In this paper, we introduce a simple yet effective approach to remove a data influence on the deep generative model. Inspired by works in multi-task learning, we propose to manipulate gradients to regularize the interplay of influence among samples by projecting gradients onto the normal plane of the gradients to be retained. Our work is agnostic to statistics of the removal samples, outperforming existing baselines while providing theoretical analysis for the first time in unlearning a generative model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google